看了一下W大跟L大的回文 我也来分享一下关于这鬼故事的想法
我引用了L大的文章，然后会砍掉部分 因为太长了 如果LDPC大认为不妥我再修正
小弟我从出道以来就是做纯inference的，从来没干过training，所以单就我自己的经验
分享一下我认为现在的瓶颈 还有一些故事(?) 给大家自己决定怎么解释
※ 引述《LDPC (Channel Coding)》之铭言：
: inference 并不代表 NVIDIA
: 就会失去优势，
: 我反而认为它目前仍然是
: 最大的受益者，
: 至少短中期如此。
: 原因有几个：
: 第一，
: CUDA 生态系的护城河，
: 比很多人想像的大得多。
: 现在几乎所有主流
: inference optimization，
: 都是先支援 CUDA。
: 例如：
: 尤其 vLLM，
: 是目前 LLM inference
: 最主流的 serving framework。
: SGLang 近一年成长也非常快，
: GitHub 也已经累积
: 万级以上 Stars。
: 两者最成熟、
: 效能最好的 backend，
: 都仍然是 NVIDIA GPU。
其实你讲的反而是NV容易被取代的点
SGLang/vLLM并不是绑定NV的 而且其实真正有资源的team都不是用纯版的
像是vLLM原本在MSL出现前也是Meta主力，但TBD最一开始也不用
(TBD一开始还有很多有趣的事情 像是不用torch之类的lol)
SGL现在Lianmin去了TBD 我听到的八卦是Lianmin当初拿了offer之后说还是想
把SGLang给搞好，那Jeff就说可以先去然后讨论他去TBD之后要做什么
后来兔哥看到了SGLang的一些作法认为很值得借鉴 所以就开始投入SGL了
但也是有用着SGLang但是把router给扔了去用NV的Dynamo或是各种花式frankenstein
我不认为现在NV的优势是在Serving framework上。
OpenAI的serving也是有自己的serving engine，其实每家code我听到的都是屎山
因为大家现在就是要榨出inference的最后一滴汁，能不能同时用NV/AMD/INTC/TPU根本
不重要，所有的code都是特化的，CUDA的生态系其实在oAI/Ant/TBD有资源的公司前没想
像中那么强，现在我知道有team甚至是直接PTX开始写的lol
: 第二，
: 大规模 Data Center
: 的系统能力，
: 目前 NVIDIA
: 仍然领先。
: 单张 GPU
: 已经不是重点。
: 真正困难的是：
: 几百到几千张 GPU 的互连
这是真的，而且这还不只是NV硬件本身，还有CSP也是很大的一个价值
小八卦是某家frontier lab跟某两个neocloud租了cluster，结果发现一模一样的code
在某家neocloud作RL的时候会crash 另一边竟然不会，后来发现会crash的那边是
numerical不determinism所以在climbing的时候不够稳定就train不上去了。
一样的硬件 一样的driver 一样的code，但却有numerical difference 很有趣的:)
至于说Meta算力过剩这件事情，我倒觉得不太可能，问题应该是说，Meta放出这消息的
目的是什么？
各位不知道还记不记得，阿祖在前几次的财报会议有人问过，不担心over invest吗？
阿祖的回答很直接，如果说后来发现LLM搞不起来 他大可把算力拿给其他team，来让本
业的广告投放更精准。这件事情所言不假，我们当初Ads/MRS根本拿不到NV的卡，更恐怖
的事是卡还缺到有team被从原本有卡踢到要他们只能用CPU...
所以你说Meta算力过剩？微软AMZN或是甲骨文之类的说还有可能。Meta绝对是巨头里面最
直接可以把算力转换成钞票的公司，NV微软AMZN还要看有没有客户要用，对Meta来说算力
就是印钞机，端看他要怎么用而已
我还记得在Meta这新闻出来的时候，我在跟之前team上另一个老中聊天，他只说了：
这真他妈的离谱 我KFS等了一个礼拜才排到队，你跟我说有多的算力？
除非说阿祖觉得这些卡跟马斯克一样租出去比较赚，不然Meta这种Ads起家的公司，说算
力过剩这种话，绝对是不安好心的lol