Re: [爆卦] 中央研究院词库小组大型语言模型

楼主: gaymay5566 (feeling很重要)   2023-10-09 20:20:16
: 至于说,CKIP可以辩解说,我们确实没有隐瞒也确实提升了繁中能力,那我认真觉得如果
: 我们只是希望模型输出全繁中而不在意希望模型学会繁中文化跟台湾环境的流行用语的话
: ,那我们直接拿英文数据做机翻不是更快更有效?!英文数据还取之不尽,英文to繁中的
: 翻译模型开源的现在也一大堆,翻译品质也算堪用。
: 而且真的要做这件事情也不用中研院来做。阿肥我直接业余一个礼拜直接搞定,阿肥之前
: 也训练过一堆这种tune坏的Garbage LLM,现在训练接微软的deepspeed又快又无脑,Nvid
: ia最近也释出自己的训练框架,config调一调我连code都不用自己写,现在一张4090就可
: 以tune起来7b模型了,干嘛要你中研院来做?!
: 而且tune坏的部分我要finetune还要加数据把他tune回来,那我直接拿Atom 7b原生做就
: 好了啊!
: 唉~
阿肥
中研院资讯所早已回应了
研究人员直接说这是幻觉~
没你说的这么高端解释啦~
https://reurl.cc/QZer9M
本院资讯所表示,CKIP-LlaMa-2-7b 并非“台版chatGPT”,且跟国科会正在发展的
TAIDE 无关。
CKIP-LlaMa-2-7b 的研究目标之一是让 meta 开发的 Llama 2 大型语言模型具备更好的
繁体中文处理能力。这项小型研究仅用了大约30万元的经费,将明清人物的生平进行自动
化分析,建构自动化的历史人物、事件、时间、地点等事理图谱,因此训练资料除了繁体
中文的维基百科,另也包含台湾的硕博士论文摘要、来自中国开源的任务资料集 COIG(
CHINESE OPEN INSTRUCTION GENERALIST)、诗词创作、文言文和白话文互相翻译等阅读
理解问答;在github网页上也据实说明。
由于这是一项个人小型的研究,各界对该模型进行的提问测试,并未在原始的研究范畴。
该研究人员表示,由于生成式AI易产生“幻觉”(hallucination),模型产生内容出乎
预期,也是未来要努力改善的地方,研究人员今(9)日已将测试版先行下架,未来相关
研究及成果释出,会更加谨慎。对相关研究的成果,公开释出前,院内也会拟定审核机制
,避免类似问题产生。

Links booklink

Contact Us: admin [ a t ] ucptt.com