[新闻]独立自制 AI Pin?Sam Altman:单人就能

楼主: pl132 (pl132)   2024-02-17 08:14:33
独立自制 AI Pin?Sam Altman:单人就能成立独角兽公司的时代来了
https://technews.tw/2024/02/16/adeus/
如果有台设备不到手掌大,能随时随地记录声音,并转成文字和大型语言模型交流,你会
考虑入手吗? 甚至如果自己做成本还不到 100 美元。
是的,这等于自制AI Pin。
英国首家案件取证调查平台Cado的CEO Adam C.H.公布影片,讲述他只用一块Coral AI微
型开发板和搭配蓝牙模组,就做出语音采集器,Adam称之为“Adeus”,为西班牙文的告
别之意,用在这设备,意思引申为“告别网络和监管”,指网络厂商无法透过设备采集使
用者个资。
Adeus算力来自Coral AI微型开发板,上图可见有个镜头和麦克风,MCU(单片机)叫NXP
i.MX RT1176,采ARM架构,Cortex-M4和Cortex-M7两种处理器。坦白说两款处理器都是
Cortex系列的低阶款,算力不算高。
读者可能会觉得这种MCU能做什么?问这话代表你得到重点了。让我们聚焦那颗外观明显
有别于其他,刻着“Coral”大Logo的芯片,这是Coral AI Edge TPU协作处理器,提供
4TOPS(数据结构为int8)算力。TPU是Google提出的概念,全称是张量处理单元,专门深
度学习和机器学习任务。
不过此TPU并非彼TPU,这叫“Edge TPU”,边缘TPU之意,相容性和性能都远不如TPU,但
功耗低、体积小,当然每个神经网络模型对性能有不同要求,面对Adam C.H.装在Adeus里
的开源模型,表现不算太差。
接下来的工作就简单了,Adam C.H.在网络找到开源人工智能声音转文字软件,再把Adeus
连到计算机,执行安装,就都完成了。如果想要,可再为开发板镜头安装开源人工智能软
体,如辨识脸部、物体等。看到这该懂了,现在做电子产品的逻辑是靠人工智能,所有元
件都为人工智能服务,只要硬件算力到位,功能就也到位。
逆向思考一下,如不用人工智能,单还原“记录声音,转成文字”都非常费劲,首先需要
采集声音模组,通常是麦克风,但麦克风收音是模拟讯号,所以要将讯号经过处理如滤波
、放大等,以确保品质和适应性,且每步骤都需要一颗芯片。
重要的是将类比讯号转成数位讯号,以便芯片处理。接下来是处理数位讯号,如降噪、特
征提取等,以准备输入语音辨识引擎。让数位讯号经语音辨识引擎后,将转录文字输出到
合适存储设备或通讯接口发送。
这样就会发现“原来人工智能省了这么多事!”且成本100美元还算偏高,所以Adam C.H.
将来会用Raspberry Pi Zero这块板子制作Adeus。
无独有偶,影音聊天软件Squad的CTO Ethan Sutin也有类似想法,不过他想要的是随时随
地和大语言模型交流,于是他用苹果M1芯片搭配OpenAI的Whisper技术,做出能放在口袋
里的Chat GPT3.5。
Whisper是自动语音辨识(ASR)和语音翻译的预训练模型,理论基础来自OpenAI的Alec
Radford等人论文〈Robust Speech Recognition via Large-Scale Weak Supervision〉
(透过大规模弱监督实现强健性语音辨识)。训练近70万小时的标注过数据,Whisper模
型展现出许多数据库和领域无需微调即可有效泛化的强大能力。
这套设备没有开关,所以怎么启动Whisper也需要人工智能帮忙。Ethan是用Silero,是声
音活动检测(VAD),选择它原因在Silero的模型JIT,仅需1Mb大小,便携设备最缺少的
就是容量。
Ethan的方法比Adam C.H.还简单,原理是用Silero辨识是否有声音传入麦克风,再用
Whisper模型将声音转成文字。用手机将文字输入大语言模型,最后得到大语言模型回馈
,实现随时随地与大语言模型交流。本质上讲,他也是用人工智能做硬件,苹果M1芯片价
格约40美元,换句话说,这套方案比Coral AI还便宜不少。
OpenAI CEO山姆‧奥特曼说过,现在已出现仅一位员工就市值10亿美元的公司,核心竞争
力就是人工智能。
未来尤其是智慧穿戴,极有可能变成要什么功能,就准备多少计算资源,如上述提到的两
台设备,选用树莓派和苹果M1,就是两者内存、显存、算力都满足需求。通常情况,
GPU内存主要存储模型参数、计算中间结果和模型最佳化,系统内存存储训练数据、
模型参数及运行数据。训练大型深度学习模型时,确保两者内存够大以容纳数据和模型
参数都很重要。
这些发明家的本质,并不是掌握多精湛的技术,而是巧妙将人工智能融进硬件。将来技术
持续进步创新,人类有望迎接智慧设备制作成本大大降低的时代,各类传感器、微型处理
器及人工智能元件将更容易取得且价格亲民,使手工爱好者乃至普通大众都能以低廉成本
亲手制作功能丰富的智慧硬件。而开源社群的支持与共享经济发展,制作智慧设备的软件
资源和学程也更触手可及,降低进入门槛。

Links booklink

Contact Us: admin [ a t ] ucptt.com