楼主:
LDPC (Channel Coding)
2025-05-18 03:23:59@@ 其实老黄的情况跟台积电有点像 单颗gpu快 苏妈已经示范给你看过了
最大问题是整个node-to-node cluster-to-cluster 平行串连 也就是所谓的scale
一堆gpu连起来时候 一堆问题就会出现 LLM inferece端都要拆解不同
cluster-to-cluster运算 LLM一个回答问题还拆解prefill和generation两个不同cluster
( https://blog.csdn.net/qq_32204441/article/details/139483688 )
这种就是考验整个data center软硬大结合 老黄整个社群 使用者都一起帮他debug
你可以看LLAMA2 报告说道 h100在万颗结合时 各种bug
meta infra team后来都优化解决掉 那些bug都是会回馈给NVDA 像是温度多少 几颗以上
会以一起崩 如何用分配computation pressure loading 传输速度怎样优化避免崩等等
这块就是AI Infra 在业界Infra是个大工作岗位 现在AI Infra都是基于NVDA规格
去优化 像是Linkedin自家再推Liger Kernel AI Infra
https://github.com/linkedin/Liger-Kernel
https://pytorch.org/blog/peak-performance-minimized-memory/
OpenAI Triton也是AI Infra 优化 Stanford课程甚至都用Triton (Cuda框架)
https://stanford-cs336.github.io/spring2024/ (assignment 2)
马上贡献大学生免费debug ai infra仔给老黄
(侦测bug贡献 大概都会像是这种
https://github.com/NVIDIA/cuda-samples/issues )
苏妈的
https://github.com/ROCm/ROCm/issues @@ 一堆under investigation....
惨不忍睹...苏妈QQ 加油....
当你一堆万人陪你练功 这玩意就是护城河 你看i皇/*** 为啥追不上台积 就是有客户
陪他练功 @@ AI infra也是 比单颗快 谁都可以 比到data center成面 就很难
连DeepSeek自己的 低成本训练框架 也是基于cuda底层重写的AI infra
现在在抢用户黏度下 同样模型 晚点推出 就失去市场 @@ 整个生态全帮你收集各种bug
你叫其他厂怎样打 唯一的可能对手就是对岸 所以老黄卖低阶芯片才能锁对岸
总结 算力芯片不在于单科 而是整个大系统 长时间效能 这需要大量社群帮忙debug
老黄的护城河就是从2012 AlexNet开始的护城河 或者更早可追朔到2006....
现在高中生都在写AI Infra/算法 @@ 你诸位不害怕吗 漫画世界高中可以打赢成人世界
在AI界已经成真了 不限年龄大混战 小学生都可以参赛了......
※ 引述《Shiva (Shiva)》之铭言：
: 挑战者不少吧，也不是最近才出现
: 大公司组AI大联盟：
: Meta、IBM 发起 AI 大联盟，Intel、AMD 等 50 个企业组织也共襄盛举
: https://tinyurl.com/yjmn4pyp
: 将开发人工智能评估标准与相关工具资源，借此协助更好的人工智能系统开发。
: 一起建立新标准，直接订标准给大家follow，超给力有够生猛
: 要赢Nvidia大概没那么快，但是阵仗也不小了
: 也有宣称打趴Nvidia的小公司：
: 出现劲敌了！加州新创公司开发新芯片 比辉达快20倍
: https://tinyurl.com/pkpswsh9
: 速度比辉达GPU快20倍，连超微和英特尔也望尘莫及
: Cerebras速度超快，科技业要的不就是这个？
: Nvidia AMD intel有压力吗？
: 黄仁勋反抗军来了！藏身竹科、内湖小厂，芯片效能比辉达强2倍
: https://tinyurl.com/2vundffn
: 创鑫“反黄仁勋”的台湾战队
: 直接组战队反黄仁勋，应该在这领导下台湾队杀爆Nvidia了吧？
: 台湾小粉绿蓝白黄一起喊杀声冲冲冲，头也不回直接碾过去了吧？
: 新秀创鑫智慧，它凭什么能在“高能效”打败 NVIDIA
: https://tinyurl.com/z2u7vcdr
: 打败辉达（NVIDIA），成为世界第一能效的 AI 加速平台
: 能效世界第一！电力有限产能有限，世界各厂还不跪着求芯片吗？
: CUDA生态系统是不是有危机了？
: ※ 引述《nissan168 (pingGO)》之铭言：
: : 我是看完黄仁勋的自传，再扒了文章后。才知道黄仁勋在2007年就布局Cuda的平台，现在
: : 是软件、硬件都形成生态链，才会让Nvidia变成AI时代的发动引擎。
: : Intel、AMD、苹果、谷歌、微软、亚马逊、脸书、特斯拉...这些大公司，怎么可能接受
: : 一家独大！
: : 他们有再开发一套公开的平台，来进行反向传播算法吗？
: : 现在的AI都是建立在辛顿算法的基础上。
: : 每年要花几百亿美元给Nvidia？
: : 未来都这样？
: : 都没有公开的平台规则，让所有人都可以用吗？