现在业界单纯说AI芯片是太笼统的说法了，
为了获得最高效能与最高CP值，
业界把AI芯片细分成以下几类，
1. Training 训练:
这是目前业界最难做的部分，
目前只有Nvidia 跟 Google TPU 有量产并且是大规模用在资料中心，
基本上Training 需要用到的算力是Inference 的百倍到百万倍以上，
这块主要是用大量的资料来训练出最佳深度学习模型
2. Inference 推理:
这块是目前大部分的公司与新创公司最想要做的部分，
毕竟算力要求比Training低很多，
但是需求的量却是Training的百万倍以上，
这块也是你我大部分人每天在接触的AI芯片，
主要是拿已有深度学习模型来套用即时资料得到即时结果，
比方说手机里头的AI芯片: Google tensor, Huawei NPU 等，
监视器(尤其中国出产的)里头的即时人脸辨识, 天网系统，
自驾车里头的即时自驾运算芯片，
另一种说法，就是 edge computing,
当然Inference 推理不完全等于 edge computing，
因为很多资料中心还是会用Inference 推理芯片来做Training/Inference,
但是edge computing就一定是Inference，
然后ㄋ，这又可以因为算法与应用的不同，
而又更细分不同应用的AI芯片，
目前最成熟也是最精准的就是影像应用的AI芯片，
精准度可到99.x%,
这也是中国最大力推动的部分，
例子就是我前面说的人脸辨识, 天网系统, 自驾车, 手机等，
目前你看到中国甚至是大部分的新创公司，都是做这块，
中国甚至在一些地方可以得到更高的效能跟更精准的结果
但是还是有非常多不同的应用与需求，
比方说自然语言处理，
包含文字或是语音的处理，
这块目前的发展就相对不理想，
不论是效能或是精准度都不理想，
不信你去玩一下一堆线上语音帮助系统，你就知道我说的，
但是这块需求很大，
想想看接客服电话的工作就是个例子，
还有更多的应用，像是Ptt灌水机器人，
脸书发言省查系统等，
目前这块只有Nvidia Google TPU两家有芯片
然后还有一些非常特殊也相对冷门的AI芯片，
像是 youtube argos chip
https://9to5google.com/2021/04/22/youtube-google-custom-chip/
Smart NIC 等...
※ 引述《sheepmanager (AI专家)》之铭言：
: 这我来回答吧
: AI芯片一般是指用来加速深度学习模型推理的芯片
: 如果是训练通常还是利用Gpu 因为生态系比较成熟
: 那么深度学习推理时间会耗在哪里呢
: 通常就是convolution 或是Gemm
: 当然convolution 可以透过线性代数几次的转换
: 变成gemm 这也是一门学问
: 所以矩阵相乘等于是最重要的运算了
: 你只要能加速这么简单的东西
: 就能号称你在做AI芯片了
: 不断的堆硬件上去 性能就出来了
: 甚至有些公司走火入魔
: 连非矩阵运算的指令都做了
: 因为深度学习的模型越来越大
: 所以并行去运算矩阵相乘就是很重要的事了
: 你的硬件并行时 耗电跟降频做得够好的话
: 就能有点能见度了 现在中国的新创没有一家做到的
: 所以就有一些人脑袋动到光计算上面
: 讯号转成光能计算 算完再转回电
: 但这非常的不稳定 基本上也是不可能回收成本
: 好了 你说这么简单的话 那也很容易啊
: 然而 深度学习在运行过程中 还有一个很大的耗损
: 就是算子与算子之间的资料传输
: 用硬件加速过后 每个算子的时间大幅缩短
: 但是彼此之间的memory copy仍然耗损严重
: 于是cache或是local memory变的异常重要
: 算子与算子之间的fusion做得好
: 搭配上速度够快又大的memory基本上也很厉害了
: 中国那一堆新创耗电降频不行
: 现在就往这方向拼命做
: 那么AI芯片前景怎么样呢
: 老实说 前景是死路一条
: CPU GPU 大公司都在从自家指令来优化模型
: 或是直接配上特殊资料格式 如tf32 fp8
: 华为的c4比起来就是个花拳绣腿 还推行不起来
: 我现在底下50多人就在做未来的方向
: 从模型优化算法 内存策略 框架
: 到底层assembly加速 完整的一套方案
: 如果你有关注一些新的paper
: 优化到最后 对比常用硬件 AI芯片根本没有优势
: 就像挖矿没有收益时的矿机一样
: 纯电子垃圾
: ※ 引述《QQmickey》之铭言
: : 虽然从新闻上看到 三星已经出了 不知道是不是唬烂的
: : 自己也是理工背景 但是想问科技版的大大们
: : 这是真的吗?
: : 我所学的 觉得不太可能
: : 虽然很多事很难讲 已知用火
: : 诺贝尔物理奖也一堆错的
: : 难道是神学