投资辉达 AI 芯片 1 美元赚 7 美元，实现黄仁勋买越多省越多口号
https://tinyurl.com/22z4n5qm
GPU 大厂辉达（Nvidia）超大规模和 HPC 业务副总裁兼总经理 Ian Buck，日前公开活动
时表示，客户投资数十亿美元购买新辉达硬件，以跟上 AI 大模型需求，提高收入和生产
力。从投资效益说，硬件用在 AI 大语言模型训练，投资 1 美元回收 5 美元，如果用在
大模型推理，投资 1 美元更回收 7 美元。
Buck 表示，建设大型资料中心企业特别受惠，四至五年使用寿命内获丰厚回报。模型训
练方面，云端运算商购买 GPU 每花 1 美元，四年内提供算力能收回 5 美元，推理用更
有利可图，每花 1 美元能有 7 美元回报，且这数字还会增长。
黄仁勋也说过类似的话，Buck 解释原因。借助 CUDA 算法创新，辉达将 H100 的 LLM
执行速度提升三倍，将 Llama 3 等模型成本降低三分之一。H200 推理性能较 H100 翻倍
，对生产有巨大价值。
Buck 举例，700 亿参数的 Llama 3 单台 HGX H200 服务器每秒输出 24,000 个 Token，
支援超过 2,400 名用户，照定价看，托管 Llama 3 的供应商每花 1 美元买辉达 HGX
H200 服务器，四年内从 Llama 3 token 计费赚到 7 美元。
Llama、Mistral 或 Gemma 等 AI 推理模型不断发展，辉达将开放性 AI 模型导入
NVIDIA 推理微服务 (NIM) 架构，最佳化 Blackwell 架构 GPU 推理执行度。GPU 支援
FP4 和 FP6 类型数据，低强度 AI 负载能提高能效。
辉达资料显示，与 Hopper 架构相较，Blackwell 架构训练速度比 H100 快四倍，推断速
度快 30 倍，能即时运行兆级参数大语言模型生成式 AI，降低成本和能耗 4%。这呼应黄
仁勋喊过多次的“买越多，省越多”口号，但不能忽视，辉达 GPU 价格也快速上涨。