※ 引述《gindisergo》之铭言
: 最近许多ChatGPT使用者发现ChatGPT变懒变笨了
: 目前OpenAI也坦承了这种状况
: https://www.ctwant.com/article/303569
: 难道ChatGPT也学习会了躺平
: 然后就变懒了
: 有没有AI达人来解释一下原因？
正好半夜看到这篇无聊来回一下
GPT4能力下降大概5月多开始就有人注意到了
但你要怎么定义能力衰退这件事而且量化他？
于是七月就有一篇论文在讨论这件事
https://arxiv.org/abs/2307.09009
证明了gpt4能力随时间下降这件事
但真正的原因除了OpenAI，没有其他人知道
版本没更新所以变笨更是屁话中的屁话
模型又不是人类会变老 脑子老化后会变笨
模型参数在部署的时候跟训练时完全一模一样
就是他妈固定在那边了一辈子不会变
而且LLM的训练成本高到一个干破你娘
更不存在直接拿使用者答案onsite训练这种事
所以大家在猜的几个原因
1. 为了防范回答危险问题过度限制提问
2. 为了成本考量偷偷蒸馏模型换成较小参数模型
3. 用多个小模型组装照问题分类各自回答模拟gpt4
总之OpenAI当初没Open Source模型
背后要省成本换了啥模型也没人知道 死无对证
LLM光query一次成本就超高
减少模型reasoning的成本也是目前主流研究方向
但像GPT4这种全面菁英级LLM
在不牺牲性能的前提下costdown根本是天方夜谭
加上现在光是开源的LLaMa就能挡很多初阶应用场景了
所以怀疑到OpenAI滥竽充数也是很合理的事情