你划错重点,
先不论这篇论文的可行性与实用性,
你真的划错重点了
算力重要吗?
重要但是不是影响贩售/采购芯片的主因,
这个年代是用软件思考的年代,
有两个软件方面的主因是AI芯片的关键:
1. LLM
2. API/framework: CUDA, OpenCL, tensorflow, pytorch
很多人呛我说废话,
但是很多人却是连废话都不懂,
LLM 全名叫做 "Large" language model,
都已经叫做Large 了,
还放在最前面以表示重要性,
所以能够处理"Large" 模型的能力 远比算力重要的多,
这篇文章有图形解释cpu vs gpu vs tpu的差别,
https://www.linkedin.com/pulse/
cpu-vs-gpu-tpu-unveiling-powerhouse-trio-computing-abhineet-raj/
所以拿这三者来比较算力是很蠢的事情,
这三者的算力彼此之间个差了十倍到百倍的差距,
比方说我有一大串数字/资料要做运算,
cpu 必须每个数字/资料做运算之后相加减,
gpu 把数字/资料放进两个矩阵一次就算完,
tpu 直接把算法设计成硬件逻辑,
数字/资料放进tpu可以直接得到结果,
所以你看出问题了吗?
当你的资料与模型太大 会塞不进去矩阵 (v-ram),
同样的道理,
资料与模型太大 会塞不进去tpu里头 (v-ram),
现代化的AI 瓶颈已经从算力提升到模型太大,
而这就是NVDA 厉害的地方,
一颗GPU v-ram 不够塞进资料与模型,
没关系, NVDA 把GPU 串连起来,
数百万颗的GPU 串连 v-ram提升数百万倍,
总可以塞进资料与模型来运算了吧,
请参考"电池串连"原理 就可以了解我在说什么
TPU 原本把算法设计成硬件逻辑是个优点,
但是在串连运算上面却成了缺点,
矩阵运算可以串连串起来运算,
逻辑电路要串连 v-ram 运算反而变得非常复杂与难实现,
所以TPU 被绑在自身v-ram 的大小限制上面,
太大的模型与资料无法放进v-ram 就无法运算,
不过还是有解决方法,
这边就不多说了
所以算力重要吗?
在LLM 面前 真的不是最主要的考量
2. CUDA 版上吵翻天了,
不需要多说了,
你算力就算能比NVDA快上万倍,
你也要能够绕过CUDA 再说,
更何况算力有没有比较快都很难说
※ 引述《oopFoo (3d)》之铭言：
: 千禧年的网络泡沫，也是先炒作硬件商，Cisco, Sun...，Sun还有"dot in dot-com"的广告。
: 网络确实是改变世界，但真正大赚的是软件公司，而且是完全新鲜的软件公司。
: 这次AI浪潮，应该也是类似。
: N家这次炒作这么高，是因为真的，Compute是供不应求。每个大公司都怕买不够，跟不上。
: 但最近一些AI的发展，也许会发现，这些Compute是不需要的。
: Mamba, RetNet, RWKV是从"Attention"的这点来改善。"Attention"是Quadratic Complexity，这是硬件需求的关键。现在在找方法从Quadratic改成Linear。
: Mamba我很看好，它的作者之一也是"Flash Attention"的作者。
: 但昨天一篇新的论文，可能是真的翻天覆地的开始。
: https://arxiv.org/abs/2402.17764
: "The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits"
: https://news.ycombinator.com/item?id=39535800
: hn的讨论。
: 现在讨论的共识是，可行，理论基础很扎实。各路人马开始指出，从2006年开始的这方面研究，已经找出好多篇证实这方向是可行的。
: 现在的LLM是用fp16(16bits)，这方法可1.58bits，(讨论说可以缩到0.68bits)
: 然后本来是fp dot product的只要int add。
: 轻松10x的效能，新ASIC针对Ternary weight发展可以轻松100x的效能改善？
: 如果这篇证实是可行的，AI起跑点重新设置，所有公司的价值都要重新计算。
: 这篇的作者群很有资历，但很有趣的是，主要是来自北京/清华大学。美国猛力压制中国的运力运算，造就不太需要Compute的方法的发现，戳破美国AI泡沫，这会是非常的讽刺。