闲聊,
on-device inference 的产品很多,
简单说就是 edge computing,
已经出来快十年了,
像是最早的华为手机NPU,
Google Pixel Tensor,
高通跟苹果也有 edge AI chip,
基本上,
现在手机很多应用早就已经在使用这颗 edge AI chip
只是现在要把LLM/Generative AI 套用在这颗edge chip 上面,
那就是一个全新的应用领域,
我个人认为在这块上面,
硬件厂(华为高通等)没有优势,
因为这块是系统尤其是OS/Compiler/Tools 的整合,
还有如何与上层的应用软件连结,
说穿了又是安桌跟iOS的竞争,
跟硬件开发反而关系不大
※ 引述《LDPC (Channel Coding)》之铭言：
: 苹果这条路线跟高通一样 就是on-device inference
: 高通之前示范过了 https://www.ithome.com/0/675/490.htm
: 自从Meta开源LLaMa后 ( https://developer.aliyun.com/article/1263631 )
: 许多开源社区开发者 像是Georgi 都有在针对苹果芯片做C语言的inference
: 甚至缩小化 ( https://www.163.com/dy/article/IADUN0LG0511AQHO.html )
: LLM在手机上on-device变得可能 商用目标会取代siri和alexi/google home这类应用场景
: 个人很悲观地认为Q家的芯片真的在这波比苹果手机芯片去跑LLama还难用 之前看到情况
: 有人抱怨Q社的NPU跑些on-device架构 还不如直接在CPU上跑 因此苹果可能在on-device
: LLM/Generative AI 有机会靠者硬件特有架构 (诸如unified memory)
: 吃掉on-device inference市场 但目前还不了解苹果会在手机平台如何打造这些硬件架构
: 或许当IPad不用云端就跑出Adobe Firefly效果时 就能吃到另一波生成式AI生产工具红利
: ※ 引述《DarkMore27 (四平街的美味汤包)》之铭言：
: : 经济日报 编译洪启原／综合外电
: : 2023/08/06 19:26
: : 美国消费电子巨擘苹果（Apple）正大举招募生成式人工智能（AI）专业人才，野心勃勃地要把生成式AI功能整合到旗下的iPhone和iPad等行动装置上，让用户在弹指之间执行相关功能、而非要等云端回应，企图颠覆生成式AI体验。
: : 英国金融时报（FT）报导，苹果位于加州、西雅图、巴黎及北京等地的办公室正在招募数十名人才，将研究自家大型语言模型（LLM），所有征才广告投放时间集中在4~7月，显示苹果正在从事“将影响苹果的未来与其产品的多项雄心勃勃长期研究计画”。
: : 报导指出，苹果的机器智慧与神经设计（MIND）等多个团队都正招募研究员和工程师，工作包括巴黎实验室的LLM基础研究，以及压缩既有语言模型，以利在行动装置高效运作、而非云端。
: : 苹果的招才广告显示，苹果力拼专门在行动装置上运作LLM这类尖端技术，尽管苹果的竞争对手都还没解决相关的巨大技术障碍，但这攸关苹果的设备销售及相关服务等核心业务。苹果执行长库克日前形容AI和机器学习，是“与苹果几乎每项产品密不可分的核心与基础技术”。
: : 例如，苹果的一则征才广告征求能在“我们装置推论引擎执行压缩并加速LLM的功能”，意指在行动装置上的行动运作、而非网络。另一则7月28日刊登的广告则希望“把最新的基础模型带到口袋里的手机内，以保护隐私的方式达成下一代的机器学习基础体验”。
: : 独立研究人员暨网络安全顾问欧雷尼克认为，苹果的短期目标是在既有产品整合生成式AI功能，立刻提高装置生产力与效用，在行动装置运作AI的隐私保护效益较大。
: : 心得/评论：
: : 如果苹果的目标是直接在行动装置运作AI,而不是透过云端运算，那苹果的AI会需要很多AI服务器吗？