Re: [问卦] 为何台湾是AI芯片重要生产地,但是AI软件模型都没

楼主: sxy67230 (charlesgg)   2024-01-24 19:45:03
※ 引述《b10213044 (重新连线)》之铭言:
: 台湾不是AI芯片的重要生产地吗?
: 但是为何软件都没起色
: 看人看人家欧美,大量的AI软件公司 模型雨后春笋般冒出
: 台湾呢?
: 能叫得上号的AI软件公司 只知道有AI LAB 但是产品也只有雅婷逐字稿
: 收费还很高
: chatgpt 3.5免钱
: stable diffusion 也免钱
: midjourney最便宜也只要8USD
: 台湾现在每个企业都在喊要AI,结果啥都没有
: 连个台湾自己要用的模型都生不出来
: 还号称科技之岛
一般而言,所谓的AI Chip指得是特化过往CPU功能的芯片,过往CPU集成的芯片会强调指
令控制跟缓存的功能,但DL/AI模型其实更强调算子(ALU)所以像NPU、GPU就是特化计算
元其他的功能就缩到最小,所谓AI专用芯片本质上就是这样的一种类CPU特化架构的芯片
。因为对于当前所有的DL模型原子化到最小计算就是在做矩阵加减乘除跟线性变换。
不过目前整个设计还是follow国外厂商的需求,所以台湾更像是代工上游厂商。当然啦!
怎么集成这么大量算子到一个小板子上也是很重要的know how 。
然后AI软件上层会更强调资料中心,收集资料、资料清理、标签处理最后一步才是训练模
型,维护资
料中心往往就是一个前期需要巨大投入但是收益有限的单位,像谷歌、OpenAI、百度等网
路巨头他们2003年就在建构自己的资料中心,还包含数据管理、Mapreduce、资料清理、
怎么建立一
个平行化资料汇出汇入。
有了第一步才是做标签数据,初期谷歌他们也是靠大量人力在维护数据标签,也带动标记
人员的管理,像不同人对同一份文本/图片可能存在复杂多元的标记同时也存在标记错误
,那要怎样提高人员标记的品质,一直到后来像硅谷就诞生很多为了承包这些大公司模型
的专业标记公司,标记公司为了节省人力也孕育出一套弱标签系统透过半机器辅助在很多
研究上也证明可以提升模型泛化能力。
而像谷歌这些大公司也在努力想怎样才能有效利用收集到无标的数据,2021年开始就酝酿
了自监督的方法(让模型自己比对相似的无标数据来学习)才诞生出现在的LLM。
这些都是台湾还在做代工的时候像欧美、中国就开始预见到人工智能浪潮就开始投资的,
阿肥我记得2016年那个时候就一直在疾呼资料中心的重要性,像中国那个时候就举国之力
用几兆在投资做这些基础建设了,台湾就错过那个黄金时期,现在也只能以代工芯片安慰
自己。

Links booklink

Contact Us: admin [ a t ] ucptt.com