AI芯片厂盼FP8格式标准化
https://bit.ly/3z1uhWX
2022年3月，辉达（NVIDIA）推出了第一款基于全新Hopper架构的GPU—GH100，其目标市
场是高效能运算（HPC）和AI工作负载。对AI工作负载更重要的是，GH100支持8位元浮点
处理格式（FP8）。两个月后，竞争对手英特尔也推出了采用FP8格式的第二代AI训练芯片
Gaudi2。
FP8格式之所以重要的原因有很多，其中最重要的是，AI推理之间存在一种分裂，在整数
格式（通常为INT8，但有时为INT4）以低精确度完成，在AI训练以FP16、FP32或FP64精确
度完成，在HPC以FP32或FP64精确度完成。辉达和英特尔都认为FP8不仅可以用于推理，在
某些情况下还可以用于AI训练，从而从根本上提高加速器的有效吞吐量。
这真的很重要，因为在浮点和整数格式之间来回切换是一件令人头疼的事情，如果能让所
有内容都停留在浮点中变得容易很多。此外，在未来的某个时候，如果推理转移到8位FP8
甚至可能是4位FP4格式，这意味着致力于整数处理器的有价值芯片资产可以被释放并用于
其他用途。
2022年6月，Graphcore研究发展低精确度浮点格式卓越性能，以及其能降低AI训练中功耗
的长期好处。低精确度数字格式可能是大型机器学习模型的关键组成部分，其不仅提供了
最先进的准确性，同时减少了对环境的影响。特别是，通过使用FP8算术之能量效率比起
FP16提高多达4倍，比FP32提高多达16倍。
如今Graphcore正在鼓吹IEEE针对AI设计采用FP8格式，并成为所有厂商都可以使用的标准
。
超微和高通也支持Graphcore的计划，高通认为FP8格式，不仅可为推理和运算提供了显著
的性能和效率提升，还可以帮助降低云端和边缘之训练和推理成本。超微预计将在即将推
出的Instinct MI300A APU中支持FP8格式。至于SambaNova、Cerebras和Groq等AI芯片制
造商也将因为这一趋势而受益。
换言之，FP8可让AI产业有机会接受“AI-native”标准，以及跨系统的推理和训练互操作
性。在 IEEE正式制定标准之前，Graphcore将向业内其他人提供其规范。
总之，随着深度学习应用程式复杂性的不断增加，机器学习系统的可扩展性也变得不可或
缺，大型分布式模型的训练带来了许多挑战。在这种情况下，使用有效的FP8数位格式至
关重要，因为在处理器之间交换资料时，它可以提高运算效率和通讯效率，进而提高功率
效率。