※ 引述《yoyoruru (哇系笨阿佑)》之铭言：
: 一张 A100，大概1万镁
: 算算就一个电影动画师的平均月薪
: 买来玩个一年
: “很贵吗？”
我还觉得底层是跑 Unreal engine 跑出来的
应该有人在朝这方向做了
如果是产生的我只能说，失误率太高没有必要
看起来很炫但是不实用
看大家兴奋成那样我也是黑人问题，妥妥的炒股
比起来，Nvidia 前架构师离职这篇论文才更有意思
https://www.facebook.com/nanzong.chen/posts/
pfbid026y5WwQRz2tvCcAG5jTWiFAbcyqLv3CFU92vTBZHPrSZXhuWg3fmaXxiPGv6yyjjml
(接成一行, 懒得缩了)
加州理工学院(Caltech)的布伦教授(Bren Professor)
“我们首次证明，LLaMA 7B可以在仅具有24GB内存的单一消费级GPU(RTX 4090)上
进行预训练(不是微调！)。这意味着训练期间用于储存优化器状态的内存减少
了82.5%以上。”
这个才是大新闻，降低大语言模型 training 的内存使用量
大家算大语言模型的成本大幅降低