→ William: 现代ML跟混沌有关？也太乱套了... 223.137.83.145 01/30 15:55
→ William: 还有deepseek的实作就不是你想像的用同 223.137.83.145 01/30 15:59
→ William: 一份资料重复学习.. 223.137.83.145 01/30 15:59
→ William: deepseek r1跟你的论文的实作就不同..先 223.137.83.145 01/30 16:13
→ William: 去看过deepseek的论文再来讨论.. 223.137.83.145 01/30 16:13
不要在那边吹啦!
deepseek的论文当然是一再吹嘘自己的系统有多好
但是学界论文早就已经指出这种拿自己生成的资料再训练的结果将导致AI 模型崩溃
https://reurl.cc/Kd5EWp
这就是CHAOS理论中稳定收敛模型(之前讲反了)
整个系统就只存在单一资料，其他有用的资料都被舍弃了
原生资料的多元性不见了
这就是知识蒸鰡的最大致命伤
也注定了他绝对不会超越原始训练模型
这篇论文已经讲得很清楚了
The Curse of Recursion: Training on Generated Data Makes Models Forget
https://arxiv.org/pdf/2305.17493
翻译成中文就是递归的诅咒：AI生成资料的训练使模型忘却原始资料
你就不用在那边硬ㄠ了
退化模型崩溃
退化模型崩溃是指退化学习过程，随着时间的推移，模型开始忘记不太可能发生的事
件，因为模型因其现实投影而中毒。
文章“递归的诅咒：产生资料的训练使模型忘记”探讨了递归训练模型对其产生资料的有
害影响。这个过程被称为“退化模型崩溃”，会导致退化学习周期，模型逐渐忘记实际的
资料分布。这种递归训练导致模型与罕见事件和异常值失去联系，从而随着时间的推移简
化和扭曲了它们对现实的理解。
当模型随着时间的推移，开始忘记或忽视不太可能发生的事件，因为它们越来越受到现实
预测的“毒害”时，就会发生退化模型崩溃现象。这些模型不断地从它们的产出中学习，
而不是从各种新的现实世界数据中学习，从而强化了狭隘的视角。这种自我强化循环可以
显著影响模型识别和回应罕见或新事件的能力。
GenAI 工具通常充当“平均值的反刍者”，从广泛的数据集中进行概括。然而，当输入资
料因模型的输出被回馈而变得逐渐统一时，反应的相关性和准确性可能会显著降低。这种
退化过程削弱了模型处理异常值或非典型案例的能力，而这对于细致的决策和创新至关重
要。