Re: [问卦] DeepSeek成本这么低的原因是啥?

楼主: permoon (有志难伸优质写手ㄉㄉ)   2025-01-30 16:21:02
※ 引述《app325 (艾波)》之铭言:
: Deepseek 横空出世
: 应该让大家都吓了一跳
: 程式码是开源的
: 有高手看的出来训练成本这么低的原因是啥吗?
因为DeepSeek本质上是优化,而不是从头干一个LLM。
他是拿Meta的开源模型当基底,然后用OpenAI去产训练资料,
再加上创新的Fine Tuning技巧去进行优化的,
并不是真的用5%的成本跟算力就可以完成OpenAI走过的路径。
的确DeepSeek(以及近期中国各家公司争先恐后发表的模型)模型上提出了创新的方法
但绝对不是全面的辗压或者一骑绝尘,更像是....
告诉美国,你他妈的封锁我算力,我还是办法绕过去干到差不多的事情啦!!!
但即使做到这种程度,也只能说在这阶段没有输,
要再往下走到AGI,没有算力还是不行的,除非中国先把量子电脑真正的商用化。

Links booklink

Contact Us: admin [ a t ] ucptt.com