Re: [心得] WWDC24节录-系统级个人助理面世

楼主: Qlily (lilyQ)   2024-06-13 05:42:57
※ 引述《KimomiKai (时雨大天使)》之铭言:
:
: Q:阿婆完全照搬OpenAI的GPT模型吗?
: A:没有,这次提供的是本地自家模型以串接的方式连动GPT模型,也提供用户关闭此功

: 的选项
不call gpt的话,很多地方效果肯定没有wwdc展示得这么美好
: Q:除了本机端上的模型,发表会还有提到苹果自家的私有云端服务器?
: A:是,相较于本机端的模型,阿婆保证自己的资料不会储存在云端上
即便不储存,还是会被拿来训练进来啊,而且客户也无法验证,就像那些画师在吵的剽窃
问题,你没证据大家都不知道
: ===
: Q:干嘛不下放到A14以后的芯片使用?
: A:除开NPU算力足够以外,对于AI自然语言模型的关键还是在于内存大小
还有就是不损失slm能力前提下,缩小模型和和各种加速方法
不然nv缩小ram用量和加速做心酸的吗
优化rag架构解决上下文的效率也是一个大门
: 只有iPhone 15 Pro有达到8GB内存门槛,其余以下设备未达的情况下,阿婆想保证这

: AI使用顺畅易用,就只有提高使用门槛,毕竟在此之前iPhone等终端设备也有一些AI应

: (非生成式模型推理),势必占用内存,我想阿婆有所考量。
: ===
: Q:这次的AI相比他牌的AI有什么优势?
: A:其实发表会反复提及到App Intents API,这个API直接决定了未来Siri能否达成非

: 顺滑的使用体验,毕竟这种系统底层的权限,现在只有封闭环境的阿婆有办法大力整合
还是得卖自己个资
win11系统的copilot本质上也是在做这个
: 而且之后的开发者统一指标就是能否透过这个API让系统得以间接使用手机内既有的资

: 跳转。
简单讲要完整体验的话,记得送自己个资给apple/openai
gpt传到sv强化训练迭代,apple传到自己sv顾虑隐私问题不训练的话,跟openai比优势在
哪?数据要找谁买来训练自家苹果ai?
苹果有没有那么多sv和芯片应付客户庞大的频宽也是个问题,若想靠自研npu降低对nv的
依赖,目前npu也跟不上nv gpu+cuda的训练效率,更不用说各种压缩模型的加速,最后也
要考虑到台gg的产能能给苹果多少?
如果还要有中日韩英,考虑因各语系结构逻辑差异和数据品质,势必会扩大手机终端里sl
m的大小,要就低精度笨模型塞在8Gram,不然就是跟进16Gram行列,顺带拉高产品价格。
mac和macbook则不太有ram问题,倒是可以放心local llm和系统rag的部分,只是也要等
各语系加强模型
况且哪来的训练数据给apple?
光看台湾做的7b中文某T模型也很惨,各种中文资料卡在版权问题,也没有足够硬件从底
层做中文llm,32片H100是能干嘛?
最后导致更多没有高品质和广泛领域的数据做训练(且还是微调而已),微调效果也比纯
英文llama3 7b还笨,之前还爆出用中国model微调台湾7b出包
更不用说在低精度的终端手机跑3b模型能有多少实用性,训练中文的token相比英文也很
吃亏
中国方面则有很多很不错的llm,苹果他们对政治问题部分应该不用太担心
以后想塞入这些各语言的slm提升用户体验扩大市场,slm容量也会大很多,进而更吃终端
的ram,不然就牺牲用户数据训练强化,到头来还是得依靠用户数据和nv才能保持市场领
先,靠自研npu还是不太乐观
Rag整合到os底层固然不错,但光靠npu和不拿客户数据训练肯定会落后很快
除非openai协助提供各语言的slm做整合或帮忙训练,装在apple sv补强各语系的问题
目前无论什么情况都需要用户数据去强化自家llm加强苹果ai的使用体验,年底新机发表
就见真章
//
个人见解大概是这样,可能会有错误的部分也欢迎提出
作者: krousxchen (城府很深)   2024-06-13 08:12:00
中国的LLM喂的资料一堆错的,有屁用??
作者: ShineiNouzen (辛)   2024-06-13 09:03:00
不懂不用回。
作者: puritylife (purity)   2024-06-13 09:39:00
看第一句就可以整篇跳过了==
作者: hsiaoeddie (eddie)   2024-06-13 12:45:00
完全是门外汉的言论欸,你没有搞过AI 的话不要上来乱讲
作者: zingy (zingy)   2024-06-13 19:32:00
我们可以等个一年再回来看,看看中国有什么第一梯队的大模型。一个限制知识和真相的环境,我很不期待它们在大模型上有未来。日本核废水,中国的科学结论与全世界都不同,你想使用这样的模型?
作者: square4 (卡哇伊)   2024-06-13 19:41:00

Links booklink

Contact Us: admin [ a t ] ucptt.com