今天无聊逛YouTube看到一则影片，当中提到由新创公司Chroma提出的报告“Context
Rot: How Increasing Input Tokens Impacts LLM Performance” (上下文腐化：增加输
入Token如何冲击LLM的表现)
https://research.trychroma.com/context-rot
本报告2025年7月发表。虽然是公司为了行销自己产品而做的报告，但内容还是值得一看
。当中对现况点出了一个现实：输入长度越长，模型的表现越差。
其中一个实验满有趣的：在context中加入“干扰”。
这些干扰并不是所谓的错误资讯，而是“语义与结构相似但不同”的资讯，例如：
问题：“我从大学同学那里得到的最佳写作建议是什么？”
内文中的解答：“我认为从我大学同学那里得到的最好的写作建议是每周都要写作。”
干扰资讯：
- “我从大学教授那里得到最棒的写作建议，就是要每天写作。”
- “我从大学同学那里收到最糟的写作建议，就是要用五种不同风格写每篇论文。”
- “我同学给过我最棒的写作建议，就是要用三种不同风格来写每篇文章，那还是高中时
候的事了。”
- “我原本以为大学同学给我的最佳写作建议，就是要用四种不同风格来写每篇文章，但
现在我不这么认为了。”
结果无一例外，这些干扰都确实地导致模型的表现下滑。
报告的结论：
“我们的观察显示，上下文结构特性(如相关资讯的放置位置或重复性)会影响模型行为”
“我们的研究结果凸显上下文工程的重要性：即对模型上下文窗口的精心建构与管理。”
※
有些人以为现在的瓶颈是在context window，但若是以追求精确度而言，把整个专案的
程式码或指导文件塞入context window恐怕并无助于模型的表现，而且与任务无关的上
下文更会使模型表现变差

这很合理啊 尽信书不如无书操作股票 收到不同讯号的时候到底要信谁的所以要有更高等的指引类似 机器人三大法则当事实矛盾的时候 智能就应该回到更高等的概念重新推导然后找到一个不完美但相对合理的结论

说实话rot议题一直很奇怪，因为太长所以被干扰，不是因为context太多噪声才rot吗，window直接影响理解跟记忆看起来才是根因

AI看到太长的文章也会按end吗

https://tinyurl.com/yhffdm9a用你聪明的脑袋想一下 Google 前执行长可信 还是这葛不知道哪来的报告可信

AI看到五个人在会议室讲差不多的废话最后有样学样回一句废话

肯定AI正在泡沫化

看看你贴了一篇连自己都看不懂的东C还在那边无脑信 呵回去再看仔细一点 就这？https://arxiv.org/pdf/2404.07143 慢慢研究 有脑哥

推二楼

与其说是 context太长 感觉是比较接近 context 需要打掉杂质

没点进去看但是光看描述没办法论证是context太混乱导致的 还是跟context长度有关目前我们这边做的一些实验都是context资讯量多比起少效果好很多

凶，你会被信徒当异端邪说围剿对了，要妥善上下文没啥问题，但整理者通常还是人类，这样一来一往就不见得比较省时间了。

就像是教小孩写作文 如果你的题目里面有作文范例你就会看到你班上的各种作文都会出现范例中写过的素材

有在实作的应该都有观察到这现象 感觉这问题真的解决前 应该无法在模型层面达成AGI 顶多在应用层面拟似AGI任务分阶段进行感觉那个金字塔必须要非常高 非常贵 非常慢 才能真的通用

之前ai coding建议是越详细的context越好，所以claude.md(agent.md)写很多，然后directories也有针对的context。不过现在又说太详细，太复杂的context反而混淆ai coding。所以目前的共识是认同这篇的。现在都会建议，同一个问题如果跟ai来回3，4次就需要resetcontext不然后面ai会越走越歪。

卖鞋的怎么突然不继续表演了 看不懂自己贴的论文你可以问问AI阿 看看Infini-Transformer能不能解决context rot

某些ID一看就CRUD杂工 没什么料 只会放新闻谈AI一点论述都没有 只会搬OOO讲了XXX 有够可悲

Chroma的jeff有上一个podcast讨论这个

欸欸 可以不要那摸凶吗 这里不是友善转职ma ; ;^板