1.原文连结:连结过长者请使用短网址。
https://www.cool3c.com/article/189870
2.原文标题:标题须完整写出且须符合内文(否则依板规删除并水桶)。
高通 Qualcomm AI Research 展示全球首个在手机上执行 Stable Diffusion 的 AI 绘图
,仅需几十秒即可将文字转化为图像
3.原文来源(媒体/作者):例:苹果日报/王大明(若无署名作者则不须)
Cool3c/Chevelle.fu
4.原文内容:请刊登完整全文(否则依板规删除并水桶)。
近期 AI 画图是相当热门的议题,仅需给予简单的文字描述, AI 系统就可产生符合描述
的精致图像;高通在 MWC 前夕公布一段 Qualcomm AI Research 的研究成果,领先全球
首度在手机执行原本需要在云端服务执行 Stable Diffusion 模型,使手机也能如云端服
务一样依照文字产生对应的影像。
https://i.imgur.com/imJ98Un.jpg
▲以“穿着盔甲的超级可爱毛茸茸猫武士”得到的成果
https://i.imgur.com/AGoxS8W.jpg
▲以“有着野生动物、河流与山的日式庭院”的结果
高通强调此次的实验是以搭载高通 Snapdragon 8 Gen 2 的市售装置执行,并透过跨应用
程式、神经网络模型、算法、软硬件等进行最佳化,并动用公司跨部门协作实现此次的
实验成果。高通透过由 Hugging Face 的 FP32 version 1-5 开源模型作为基础,透过量
化、编译与硬件加速进行最佳化,使复杂的 Stable Diffusion 能在 Snapdragon 8 Gen
2 顺利执行。
为了使复杂的 FP32 模型可在行动处理器执行,团队首先利用自行开发的 AI Model
Efficiency Tool Kit ( AIMET )工具将 FP32 转化为 INT8 ,借助将 FP32 转化为
INT8 ,不仅能提升 AI 模型执行效率,并缩减内存频宽达到节能效果。 AIMET 技术中
的 AdaRound (自适应舍入)能够在转化到低精度后维持模型的精度而不须重新训练模型
, Qualcomm AI Research 将这些技术应用在包括文本编码、 VAE 解码与 UNet 等
Stable Diffusion 的结构组件。
https://www.youtube.com/watch?v=B-uojHRr7HE
此外, Qualcomm AI Research 利用高通 AIE 框架将神经网络映射在目标硬件的高效能
执行程序,根据 Qualcomm Hexagon DSP 的硬件架构与内存层次结构对操作进行排序,
在提升效能的同时也抑制内存溢出;其中部分增强是由 AI 最佳化研究人员与编译器工
程团队协作改进 AI 推论中的内存管理结果,使 AIE 的整体获得最佳化,并减少执行
的延迟与功耗。
同时,借助 Snapdragon 8 Gen 2 具备的 Micro Tile Inferencing (微块推论)功能,使
复杂的 Stable Diffusion 能够在行动装置执行;不过 Qualcom AI Research 仍期待未
来的 Snapdragon 可具备更强大的算力使效率更为提升;在 Qualcom AI Research 的协
力下,最终在 Snapdragon 8 Gen 2 的装置于 15 秒执行 20 个步骤,并产生 512 x
512 像素的图像,也是目前手机上最快的 AI 绘图表现,几乎能媲美云端服务的速度。
高通认为,边际 AI 时代即将来临,日后使用者可透过针对行动装置最佳化编译的 AI 模
型,不须连接上网络即可执行许多复杂的 AI 应用,。并确保低延迟、网络频宽与隐私权
,除了此次的示范外,高通指出 Stable Diffusion 还能用于影像编辑、影像修复、风格
转换、超解析等影像处理技术。同时高通认为在手机执行 Stable Diffusion 只是一个开
始,意味着未来包括笔电、 XR 头戴显示器皆可由 Stable Diffusion 获得体验增强。
5.心得/评论:
内容须超过繁体中文30字(不含标点符号)。
高通展示自家的产品也可以做到跟苹果手机一样的AI效能
不过是在8Gen2测试
相较于iOS已有人移植Stable Diffusion,近几年出的iPhone都能跑
Android可能还得再等等。
未来看能不能让开发者利用,届时高阶Android手机就可以跑AI相关运算了。