原文标题：称霸 AI 推理性能，NVIDIA B200 芯片海放 AMD MI300X
※请勿删减原文标题
原文连结：
https://bit.ly/4dIpmfq
※网址超过一行过长请用缩网址工具
发布时间：
September 2, 2024 by 陈 冠荣
※请以原文网页/报纸之发布时间为准
记者署名：September 2, 2024 by 陈 冠荣
※原文无记载者得留空
原文内容：
由产业人士和学术界组成的开放工程联盟（MLCommons）自 2018 年推出 MLPerf 产业基准
，是衡量机器学习性能、提高科技透明度的常见指标。随着科技大厂针对 MLPerf Inferenc
e v4.1 提出测试资料，尤其 NVIDIA 下一代 Blackwell GPU 首次参与测试，让业界看出各
家芯片性能提升至什么程度。
MLPerf Inference v 4.1 测试结果有一系列值得关注的新增内容，像是 MLPerf 首次引进
MoE（Mixture of Experts Models，混合专家模型）性能评估，特别采用开源 Mixtral 8×
7B 模型。这一轮基准测试更展示一些令业界关注的芯片和系统，有些还是首次公开测试结
果，比方说 AMD MI300X、Google TPU v6e（Trillium）、英特尔 Granite Rapids、Unteth
er AI speedAI 240 等，还有最受市场瞩目的 NVIDIA B200。
虽然 Blackwell GPU 交付到客户手中还需要几个月时间，但 MLPerf Inference 4.1 测试
结果可让客户一窥即将到来的强大性能。Blackwell GPU 由于使用 NVIDIA 第二代 Transfo
rmer 引擎和 FP4 Tensor 核心，处理 MLPerf 设定的 Llama 2 70B 模型，首次测试结果显
示性能较自家 Hopper 架构的 H100 高出 4 倍之多。
而在单一 B200、H200 及竞争对手 MI300X 的比较，MLPerf Inference v 4.1 测试结果运
用 Llama 2 70B 计算每秒生成 token 数，可看出 B200 的表现遥遥领先 H200 和 MI300X
，性能平均达到 H200 约 2.5 倍，更是 MI300X 的 4 倍左右。可见主流的 H200 明显胜过
MI300X，换成下一代 B200 更是大胜。
值得关注的是，MI300X 规格如电晶体、HBM 等比起 H200 复杂，封装复杂度更高，可推测
AMD 这款 AI 芯片成本高昂，却要卖得更便宜才能与 NVIDIA 竞争。信昕产研从这一轮 MLP
erf 测试结果分析，MI300X 合理价格可能要比目前 H200 低约 30%。
换个角度来看，市场可能对于 NVIDIA 产品毛利高有些意见，一旦性能强大的 NVIDIA GPU
价格再低一点，恐无对手与之竞争。
心得/评论：
https://i.imgur.com/DhaD9B1.jpeg
苏妈24年初之前不是号称赢 黄的H100
结果只在伯仲之间，还小输
现在看起来黄的B200提升惊人。虽然现在晚一点才会来。但看来护城河已经建好了
※必需填写满30正体中文字，无意义者板规处分