Re: [新闻] 台版ChatGPT雏型曝光 国科会用4个月秀TAI

楼主: sxy67230 (charlesgg)   2023-06-14 20:37:05
※ 引述《Waitaha (行人地狱)》之铭言:
: 1.媒体来源:
: 自由时报
: 2.记者署名:
: 记者吴柏轩/台北报导
: 3.完整新闻标题:
: 台版ChatGPT雏型曝光 国科会用4个月秀TAIDE初阶成果
: 4.完整新闻内文:
: 美国Open AI去年秀ChatGPT引发人工智能(AI)浪潮,我国国科会今年2月宣布要推台

: 的生成式AI模型,耗时4个月今(14日)宣布第一阶段成果,目前已投入70亿个参数量

: 针对繁体中文训练,实测已达自动摘要、翻译文本、写信与写文章,都有不错表现,并

: 度透露相关计画经费约2到3亿元,年底前希望释出更大模型,推向商业应用。
: 国科会主委吴政忠表示,今年2月宣布要推动“可信任AI对话引擎”(简称TAIDE),集

: 产官学研、公私协力下,众人力量纷纷无私奉献,不少义工加入,加上国网中心超级电

: 算力一半拿出来支持,4个月后今公布第一阶段成果,相关经费编列2到3亿元,虽跟国

: 相比“小小小小小”,但确是台湾目前重要成果。
: 协助开发的阳明交通大学应用数学系教授李育杰表示,当国科会宣布台湾要有自己的生

: 式AI,避免过度依赖外国技术,众人便开始用跑的,打造TAIDE引擎,目前利用脸书公

: 学界使用的LLaMA模型,投入70亿个参数量(7B,AI训练所需参数),达中模型规模。
阿肥外商码农阿肥啦!
其实这四个月整个训练框架大爆发,阿肥自己也有帮公司训练了一个中文小羊驼(可商用
版)给业务单位使用。
包含微软自己开源的DeepSpeed(把学习人类对话的强化学习(RLFH)训练框架开源给大家免
费用,还有知名开源框架抱抱脸释出一些模型压缩方法可以直接无脑调用,整个训练阿肥
训练130亿参数的模型从无到有弄起来真的不用一个礼拜,新手最多两个礼拜就可以掌握
了,真的蛮无脑的。
不过像Llama这种由于参数量其实只有GPT-3(不是ChatGPT跟GPT-4)的1/10不到,所以其实
效能也是有限,像小羊驼Vicuna在通用评价测试集上只有GPT-3的92%,不过只需要一张显
卡又傻瓜是真的值得什么都不懂又只有小需求的训练一下拿来玩,像阿肥现在会把他拿来
做基石做一些有趣的事情微调到自己的领域上省去人工标注的功夫。
差不多4酱

Links booklink

Contact Us: admin [ a t ] ucptt.com