原文标题：苹果 AI 终于来了！诚意满满，4 种版本开源生成式 AI 模型 OpenELM
原文连结：https://tinyurl.com/478tzuy4
发布时间：2024-04-26
记者署名：钜亨网
原文内容：
苹果 (AAPL-US) 因在生成式 AI 领域的脚步太慢，遭微软、OPenAI、Google 等科技公司
狠甩几条街，即使执行长库克表示，今年稍晚就会有生成式 AI 的新进展，仍无法挽回部
分投资人信心，今年迄今股价仍跌逾 12%。如今，苹果总算有生成式 AI 的新举措。
为了在加速生成式 AI 的发展，苹果在开源 AI 平台 Hugging Face 上发布一个具有开源
训练和推理框架的高效语言模型，名为 OpenELM。
据了解，OpenELM 有四种尺寸：2.7 亿、4.5 亿、11 亿和 30 亿个参数版本，定位于超
小规模模型，而微软 Phi-3 模型为 38 亿。 这种小模型运行成本更低，可在手机和笔记
型电脑等设备上运行。
同时，在 WWDC24 开发者大会之前，苹果彻底开源了 OpenELM 模型权重和推理程式码，
资料集和训练日志等。 而且，苹果还开源了神经网络库 CoreNet。
早在今年 2 月，库克就表示，苹果生成式 AI 功能将于“今年稍后”推出，有消息称即
将在 6 月发布 iOS 18 可能是苹果 iOS 史上 “最大”的更新，而 9 月也将推出首款
AI iPhone 设备。
如今，苹果似乎在新一轮 AI 浪潮快到尾声的时刻追赶上了产业脚步。
随着 ChatGPT 风靡全球，近几个月来，三星、谷歌、小米等手机厂商全面推进大语言模
型在手机、平板等端侧上的使用，包括照片处理、文字处理增强等，并形成一大卖点 。
而苹果很少透露且极少有类似的自备功能，主要是用第三方工具做到类似效果。
今年 2 月财报会议上，库克首次公布生成式 AI 计划，并将在今年稍后将 AI 技术整合
到其软件平台（iOS、iPadOS 和 macOS）中。
库克表示，“我只想说，我认为苹果在生成式 AI 和 AI 方面存在着巨大的机会，无需透
露更多细节，也无需超出自己的预期。展望未来，我们将继续投资于这些和其他 将塑造
未来的技术。 其中包括 AI，我们继续在 AI 领域花费大量时间和精力，我们很高兴能在
今年晚些时候分享我们在该领域正在进行的工作的细节。”
事实上，自年初至今，苹果在生成式 AI 领域动作不断。 今年 3 月，苹果技术团队发表
论文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》，首
次披露苹果大模型 MM1，涵盖 300 亿参数、支援多模态、支援 MoE 架构，超半数作者属
于 华人。
如今，针对手机、平板等端侧领域，苹果真正的开源模型终于来了。
根据论文显示，苹果开源了大语言模型 OpenELM，有指令微调和预训练两种模型版本，共
有 2.7 亿、4.5 亿、11 亿和 30 亿 4 种参数，提供生成文本、代码、翻译、总结摘要
等功能。
虽然最小的参数只有 2.7 亿，但苹果使用了包括 RefinedWeb、去重的 PILE、
RedPajama 的子集和 Dolma v1.6 的子集在内的公共资料集，一共约 1.8 万亿 tokens
资料进行了预训练 ，这也是其能以小参数表现出超强性能的主要原因之一。
例如，11 亿参数的 OpenELM，比 12 亿参数的 OLMo 模型的准确率高出 2.36%，而使用
的预训练资料却只有 OLMo 的一半。
在训练流程中，苹果采用了 CoreNet 作为训练框架，并使用了 Adam 优化算法进行了
35 万次迭代训练。 而苹果的 MobileOne、CVNets、MobileViT、FastVit 等知名研究都
是基于 CoreNet 完成的。
苹果在论文中也表示，与以往只提供模型权重和推理程式码并在私有资料集上进行预训练
的做法不同，苹果发布的版本包含了在公开资料集上训练和评估语言模型的完整框架，包
括训练日志、多个检查点和预训练配置。 同时，苹果也发布将模型转换为 MLX 库的程式
码，以便在苹果设备上进行推理和微调。
“此次全面发布旨在增强和巩固开放研究社区，为未来的开放研究工作铺平道路。”苹果
研究团队表示。
此外，OpenELM 不使用任何全连接层中的可学习偏移参数，采用 RMSNorm 进行预归一化
，并使用旋转位置嵌入编码位置资讯。 OpenELM 也透过分组查询注意力取代多头注意力
，用 SwiGLU FFN 取代了传统的前馈网络，并使用了 Flash 注意力来计算缩放点积注意
力，能以更少的资源来进行训练和推理。 同，苹果使用了动态分词和资料过滤的方法，
实现了即时过滤和分词，从而简化了实验流程并提高了灵活性。 也使用了与 Meta 的
Llama 相同的分词器，以确保实验的一致性。
这次，苹果很有诚意将程式码开源，一开到底，把所有内容都贡献出来了。 仅 1 天多的
时间，在模型 GitHub 平台上就获得超过 1100 颗星。
而目前，大模型领域主要分为开源与闭源两大阵营，国内外知名闭源的代表企业有
OpenAI、Anthropic、Google、Midjourney、百度、出门问问等；开源阵营有 Meta、微软
、Google、 商汤、百川智能、零一万物等。
苹果身为手机闭源领域的领导者，这次却罕见地加入开源大模型阵营。 有分析认为，这
可能在效法 Google 的方式先透过开源拉拢用户，再用闭源产品去实现商业化营利。
同时，这也显示苹果进军 AI 大模型领域的坚定决心。
作为同为端侧模型、开源模型企业，商汤科技联合创始人、首席科学家王晓刚近期对钛媒
体 App 表示，开源还是对于整个社区的发展还是非常重要的，是一个重要驱动力。 最终
大模型的发展包括各种应用，还是要整个社区共同去推动的。 对于大模型的应用也分为
不同的层次，这么多产业对应用的需求也是不一样的，丰富的开源社群非常重要。
心得/评论：
苹果手机销量下滑，电动车研发失败，Vision Pro市场需求低
AI 发展很早就有 Siri 但实在差别人太多，苹果股价整个熊市走法
罕见的在WWDC大会以前，苹果就在 Hugging face 公开 OpenELM 模型
https://huggingface.co/apple/OpenELM
这是真的急了! https://i.imgur.com/mWiRuiK.jpg
苹果跟一堆巨头战AI谁赢，我不知道
但我知道苹果现金很多