苹果这条路线跟高通一样 就是on-device inference
高通之前示范过了 https://www.ithome.com/0/675/490.htm
目前个人不负责任理解是 Meta/Adobe/MS/Google/Saleforce都在走向云端大模型
(e.g., Foundation/LLM AI)也就是AI as a Service
有些Startup公司已经开始在把Foundation/Pre-trained Moedel当作工具在卖
比方说Pytorch的Eng Head Lin Qiao所跳出来创办的Fireworks
https://www.youtube.com/watch?v=tR7ntuDo_pM
而Qualcomm/Apple因为自身有硬件架构优势 会走向on-device AI
但会着重在infernce的省电和low latency这块
On-device AI和Large Model AI是光谱的两端 前者需要有特殊硬件和底层low-level
API加速整合 着重在省电和压缩大模型网络架构 后者就是暴力解
而老黄会继续吃下AI架构设计这边市场(Training) 但老黄最近去挖了小鹏汽车
自动驾驶 ( https://www.stcn.com/article/detail/938652.html )
https://www.163.com/dy/article/IB9M7ORO0552Q8FS.html
看来有在持续布局自动驾驶这边 老黄从去年就有在硅谷这边持续挖Toyota/Argo
自动驾驶部门的高阶人才
自从Meta开源LLaMa后 ( https://developer.aliyun.com/article/1263631 )
许多开源社区开发者 像是Georgi 都有在针对苹果芯片做C语言的inference
甚至缩小化 ( https://www.163.com/dy/article/IADUN0LG0511AQHO.html )
LLM在手机上on-device变得可能 商用目标会取代siri和alexi/google home这类应用场景
个人很悲观地认为Q家的芯片真的在这波比苹果手机芯片去跑LLama还难用 之前看到情况
有人抱怨Q社的NPU跑些on-device架构 还不如直接在CPU上跑 因此苹果可能在on-device
LLM/Generative AI 有机会靠者硬件特有架构 (诸如unified memory)
吃掉on-device inference市场 但目前还不了解苹果会在手机平台如何打造这些硬件架构
或许当IPad不用云端就跑出Adobe Firefly效果时 就能吃到另一波生成式AI生产工具红利
结论 苹果有机会在on-device AI这个市场成为垄断者...QQ