[新闻] 高通展示手机跑Stable Diffusion AI绘图

楼主: ivon852 (ASUS)   2023-02-24 20:47:14
1.原文连结:连结过长者请使用短网址。
https://www.cool3c.com/article/189870
2.原文标题:标题须完整写出且须符合内文(否则依板规删除并水桶)。
高通 Qualcomm AI Research 展示全球首个在手机上执行 Stable Diffusion 的 AI 绘图
,仅需几十秒即可将文字转化为图像
3.原文来源(媒体/作者):例:苹果日报/王大明(若无署名作者则不须)
Cool3c/Chevelle.fu
4.原文内容:请刊登完整全文(否则依板规删除并水桶)。
近期 AI 画图是相当热门的议题,仅需给予简单的文字描述, AI 系统就可产生符合描述
的精致图像;高通在 MWC 前夕公布一段 Qualcomm AI Research 的研究成果,领先全球
首度在手机执行原本需要在云端服务执行 Stable Diffusion 模型,使手机也能如云端服
务一样依照文字产生对应的影像。
https://i.imgur.com/imJ98Un.jpg
▲以“穿着盔甲的超级可爱毛茸茸猫武士”得到的成果
https://i.imgur.com/AGoxS8W.jpg
▲以“有着野生动物、河流与山的日式庭院”的结果
高通强调此次的实验是以搭载高通 Snapdragon 8 Gen 2 的市售装置执行,并透过跨应用
程式、神经网络模型、算法、软硬件等进行最佳化,并动用公司跨部门协作实现此次的
实验成果。高通透过由 Hugging Face 的 FP32 version 1-5 开源模型作为基础,透过量
化、编译与硬件加速进行最佳化,使复杂的 Stable Diffusion 能在 Snapdragon 8 Gen
2 顺利执行。
为了使复杂的 FP32 模型可在行动处理器执行,团队首先利用自行开发的 AI Model
Efficiency Tool Kit ( AIMET )工具将 FP32 转化为 INT8 ,借助将 FP32 转化为
INT8 ,不仅能提升 AI 模型执行效率,并缩减内存频宽达到节能效果。 AIMET 技术中
的 AdaRound (自适应舍入)能够在转化到低精度后维持模型的精度而不须重新训练模型
, Qualcomm AI Research 将这些技术应用在包括文本编码、 VAE 解码与 UNet 等
Stable Diffusion 的结构组件。
https://www.youtube.com/watch?v=B-uojHRr7HE
此外, Qualcomm AI Research 利用高通 AIE 框架将神经网络映射在目标硬件的高效能
执行程序,根据 Qualcomm Hexagon DSP 的硬件架构与内存层次结构对操作进行排序,
在提升效能的同时也抑制内存溢出;其中部分增强是由 AI 最佳化研究人员与编译器工
程团队协作改进 AI 推论中的内存管理结果,使 AIE 的整体获得最佳化,并减少执行
的延迟与功耗。
同时,借助 Snapdragon 8 Gen 2 具备的 Micro Tile Inferencing (微块推论)功能,使
复杂的 Stable Diffusion 能够在行动装置执行;不过 Qualcom AI Research 仍期待未
来的 Snapdragon 可具备更强大的算力使效率更为提升;在 Qualcom AI Research 的协
力下,最终在 Snapdragon 8 Gen 2 的装置于 15 秒执行 20 个步骤,并产生 512 x
512 像素的图像,也是目前手机上最快的 AI 绘图表现,几乎能媲美云端服务的速度。
高通认为,边际 AI 时代即将来临,日后使用者可透过针对行动装置最佳化编译的 AI 模
型,不须连接上网络即可执行许多复杂的 AI 应用,。并确保低延迟、网络频宽与隐私权
,除了此次的示范外,高通指出 Stable Diffusion 还能用于影像编辑、影像修复、风格
转换、超解析等影像处理技术。同时高通认为在手机执行 Stable Diffusion 只是一个开
始,意味着未来包括笔电、 XR 头戴显示器皆可由 Stable Diffusion 获得体验增强。
5.心得/评论:
内容须超过繁体中文30字(不含标点符号)。
高通展示自家的产品也可以做到跟苹果手机一样的AI效能
不过是在8Gen2测试
相较于iOS已有人移植Stable Diffusion,近几年出的iPhone都能跑
Android可能还得再等等。
未来看能不能让开发者利用,届时高阶Android手机就可以跑AI相关运算了。
作者: a27588679 (飞云)   2023-02-24 20:50:00
眼睛都脱窗了
作者: oppoR20 (R20)   2023-02-24 21:37:00
以后可以用手机画色图了
作者: square4 (卡哇伊)   2023-02-24 21:52:00
调用nnapi还比较贫弱https://i.imgur.com/Eu9olAD.jpg
作者: twinkleAshed (香草奶昔先生)   2023-02-24 22:18:00
真巧, 上篇文章Po的内容也是同样的东西.只是看起来他们用了对应的单元来运算, 而不是硬解.
作者: banbanzon (带赛衰神)   2023-02-24 22:24:00
我已经预测到库克在哀凤15发表会上狂吹A17 AI绘图吊打安卓好几条街了
作者: jhangyu (jhangyu)   2023-02-25 00:38:00
赞,坐等有人打包成App
作者: tcchu (tcchu)   2023-02-25 14:07:00
苹果要吹得等自己的armv9出来吧 可怜生不出来
作者: kkcity59 (kkcityk)   2023-02-25 18:41:00
armv9只是指令集你愿意花钱买就可以了啊没有所谓的自己的armv9吧?自己要重新定义指令也可以啦现在不满arm跟x86就往risc-v靠拢没谁想再订新指令集了吧
作者: tcchu (tcchu)   2023-02-25 22:08:00
我是指苹果买armv9自己生的核心他大概v8.6跟v9 arm就是两头不同大方向吧有点IBM的味道
作者: kkcity59 (kkcityk)   2023-02-26 00:46:00
苹果好像就没买arm9授权吧。因为arm9增加的指令条目主要是针对服务器市场,不管是手机或个人电脑都没什么用目标其实是Neoverse那些的需求。另外arm v8跟v9其实差不多,讲白了就是扩展SVE2指令

Links booklink

Contact Us: admin [ a t ] ucptt.com