※ 引述《icrose (人本良心)》之铭言:
: 但是问题在于,如果中国中小公司用没有一个海归的团队
: 就做出了这么优秀的算法优化
: 那如果全世界一起继续优化,这半年又大幅发生成本降低怎么办,变形金刚模型其实算法
: 主体框架五六年没有大的进化了
: 所以辉达和openai的只有堆算力一条路的叙事欺骗了世界两年,现在叙事光环已破
: 用户尤其是大用户必然要重新审查自己的对辉达下单量。观望或者只买原计划的一部分是
: 理性的
: 中小用户因为自搭模型门槛降低而发生需求大爆发,要等到什么时候呢。目前不明朗,我
: 觉得,先跌2个月再说吧
应该不用那么久
重点是DS是开源的
现在应该有许多数据中心已经开始实验DS的算法
我们先假设DS的创新
是往AGI道路上的王道
那么在10万张H100的算力训练下
应该很快就能看到LLM的表现
在10万张H100的暴力训练下,质的突破
如果10万张H100
跟2000张H800的训练结果差不多
推理准确性没有办法有质的提升
那这个算法不过是一个
地板很容易达到,但马上会碰到天花板的
低成本的,但无成长性的算法
马上就会被要求更高准确性的模型区别开来
结局就是只能当基础的,低成本的,内卷模型
如果10万张暴力训练,迎来质的突破
那算力依然是AI碾压的条件之一