楼主:
LimYoHwan (gosu mage)
2025-02-06 16:56:06标题:
李飞飞团队用不到50美元训练出媲美DeepSeek R1的AI推理模型
来源:
Futu
网址:
https://tinyurl.com/ydrtdbu8
内文:
李飞飞等斯坦福大学和华盛顿大学研究人员近日以不到50美元的云计算费用训练了一个名
叫s1的人工智能推理模型。该模型在数学和编码能力测试中的表现与OpenAI的o1和DeepSe
ek的R1等尖端推理模型类似。研究人员表示,s1是通过蒸馏法由谷歌推理模型Gemini 2.0
Flash Thinking Experimental提炼出来的。
https://i.imgur.com/kFg9GjU.jpeg
斯坦福大学以及华盛顿大学的研究团队展示了一种极低成本的 AI 训练方法,被称为 S1
。
S1 仅使用 6 美元就能达到 OpenAI o1-preview 级别的推理性能!同时匹敌Deepseek R1
推理时间可控:S1 通过简单的“Wait”机制,控制大模型的思考时间,提高推理能力。
S1 不是 OpenAI o1 或 DeepSeek R1 的直接复刻,但它揭示了在推理时微调 AI 的潜力
,甚至可以媲美 Reinforcement Learning(强化学习)。
OpenAI 和 DeepSeek 早期研究发现,AI 在回答问题时“思考得更久”,往往能得出更好
的答案。但过去并没有清楚解释:如何在推理阶段控制 AI 的思考时间?
S1 的创新点: S1 论文提供了推理时间扩展(Inference Scaling)的具体实现方法:
核心思想:
如何在不改变 AI 训练过程的情况下,提高 AI 解决复杂问题的能力?
方法:让 AI 在推理时“多想几秒”,自动检查自己的答案,从而减少错误,提高正确率
!
结果证明,这种方法比 OpenAI o1-preview 还要好!
最重要的是:而且只用了 1000 道题! 这比一般 AI 训练的数据少了 800 倍,但效果仍
然很强!
此外,该模型可以在笔记本电脑上运行,并且其训练成本仅为 6 美元。
论文下载
https://arxiv.org/pdf/2501.19393
作者: PureAnSimple (PureAndSimple) 2025-02-06 17:00:00
丸子 没有最便宜 只有更便宜 ㄟ唉末日
作者: vincent0911x (身在曹营,心在汉。) 2025-02-06 17:12:00
开卷囉~~~
作者: b1izzard2000 (OGC) 2025-02-06 17:14:00
多想几秒 大赚百美
作者: madeinheaven 2025-02-06 17:17:00
笑死 以后大家都用蒸馏法从别人模型里学习
作者: FncRookie001 2025-02-06 17:20:00
已经有冤大头当了啊XDD他是刷出租云端空间跑的大蒸馏比赛开打啊重点就是这些科技巨头已经在地上了啊XD谢谢你 硅谷银弹
作者: FncRookie001 2025-02-06 17:27:00
要防蒸馏就是不让外人使用 但也很难赚钱
作者: vincent0911x (身在曹营,心在汉。) 2025-02-06 17:27:00
对人类是大利多 对股民是... ?
作者: FncRookie001 2025-02-06 17:28:00
啊可是Gpt5出来明天就可以再蒸馏了XD唯一的方法是搞出GPT5后还不给外面access 但这样要玩个鸡毛
作者: FncRookie001 2025-02-06 17:30:00
你发布蒸馏版也没用啊 input output能学就能蒸馏没救 只能像以前google统统关在小黑屋里偶尔放他出来下围棋秀一下肌肉秀太多次就会被蒸馏QQ唯一获利的方法是搞出AGI ASI 然后直接毁灭世界 不然永远有办法被蒸馏模仿 谁先做谁傻逼
作者: FncRookie001 2025-02-06 17:40:00
啊问题是这些软硬件巨头砸一堆钱就是幻想可以当人上人结果现在看起来要偷模型完全挡不住模型跟算力都被免费仔偷 惨喔
没有openAI前面花这么多钱,你DS跟后面的竞争者哪有办法这样子
作者: FncRookie001 2025-02-06 17:42:00
就租几组H100 1小时 谢谢你的模型欸嘿现在不是炼金术了 是蒸馏术的年代
作者: FncRookie001 2025-02-06 17:51:00
哪有 伊隆马砸了一堆钱在grok上
作者: madeinheaven 2025-02-06 18:47:00
居然还有人不知道DeepSeek说自己是CHATGPT
以后谁要当第一个开发的?都给人白嫖欸DS不是蒸馏OpenAI的吧 毕竟OpenAI没有开源啊 哪能蒸馏?顶多可能谎报训练成本
作者: zombiepigman 2025-02-06 20:29:00
真的完蛋了 科技股崩烂