AI PC/AI Phone都属于on-device题材 详情翻阅之前文章
那这玩意跟之前安装老黄的GPU笔电有啥不同
我个人认知重点在inferece省电这块 如果有尝试拿笔电有NV显卡跑AI玩意
就会发现那东西是吃电怪兽 自己亲身经验跑一个CV inference算法 全开CUDA 拔掉插座后
笔电瞬间关机 因为该算法会强制让笔电跑200~250w这功率 这玩意是电池无法承受
就算能承受 一个小时就没电
而NPU on-device 则是透过底层硬件特殊设计 搭配API和AI算法 然后在inference时
你可以透过c语言去使用不同特殊api 比方说做矩阵乘法 你可以用c函式库 或者
用硬件ic公司底层api去实现 后者就是省电 速度又快 比前者有时差异可到10倍省电
而台湾最适合做on-device AI 因为这玩意需要懂硬件(ic设计)和软件和AI算法设计
(压缩AI模型) 在inferece这块 非常吃对C语言了解 以及如何魔改AI算法 比方说原本AI算法要用ReLu6
但你硬件加速只支援ReLu 那你就稍微去魔改一些参数 重新optmize structure
然后deploy在省电NPU 所以你如果电脑是插电桌机 那老黄一个GPU就解决所有问题
因为从功能上来说NPU不能取代老黄GPU电脑
但如果是便携式设备像是手机 AR眼镜(参照GPT4o/Google I/O 人工智能助手愿境)
笔电 那on-device的题材就在这 一个省电的移动性AI设备
通常瞄准落地场景就是多模态AI助手
所以on-device题材就是省电和压缩模型 或者模型特制化小于一定参数(手机分水岭是3B)
ARM+NPU的AI-PC远景很美好 一但牵涉到软件部分就很复杂
ARM的PC目前挑战就是很多软件不支援 也没有optmize到省电极致
不像果家软硬整合就做很好 但AI Phone就不一样 没像AI Window PC各种驱动程式问题
高通+狗家on-device模型就是领跑者 但脸家LLaMA第三方C开发社群
也做出许多on-device生态群
而在on-device省电玩家有果家高通联发科和软件切过来的狗家和软软 目前高通疑似
有在默默建立on-device软件生态圈 联发科最近也在HuggingFace刷自家模型了