Re: [爆卦] 中央研究院词库小组大型语言模型

楼主: gaymay5566 (feeling很重要)   2023-10-09 13:30:17
※ 引述《derekhsu (浪人47之华丽的天下无双)》之铭言:
: 对于LLM只有这一点认知程度的话,最好不要就这样出来带风向会比较好,不然先去
: 跟阳明交大校长先去旁边先学习一下什么叫做LLM,不同LLM之间又有什么差异。
: 第一个错误的认知是认为LLM就应该要提供正确的答案,事实上LLM是一个机率模型,
: 它所做的事情是基于模型的权重预测下一个token(词块)最高的机率是那个,它不是资
: 料库,所以你不能因为它答的一个答案不是你所想的就是说这个模型如何如何。
: 第二个错误的认知是把所有的LLM都当成是同一个等级,好像只要A不如B那A就不行,是
: 垃圾。以这个案例来说,它是Llama-2-7b跟Atom-7b模型,前面的Llama-2模型是代表它
: 是META出的Llama模型第二代(可商用),而7b则是说它的参数是70亿个,不要以为70亿
: 个参数很多,70亿参数以LLM来说只能说是非常小的,所以答出一切乱七八糟的答案非
: 常正常,在7b之上,还有13b跟70b的模型参数量。
: 7b的模型实务上如果没有经过finetune然后针对小范围的特定任务,基本上就是玩具而
: 已。
: 第三,就是对于台湾的能力有误会,做AI大概分为三个要素,模型/资料/算力。在大语言
: 模型方面,台湾三个都弱,模型用开源的即便是台智云,也是用开源模型。资料方面,
: 繁体中文本来就在中文领域本来就是弱项(中文已经很弱了,繁体中文更弱),算力方面,
: 台湾有算力从头到尾训练LLM的不是说没有,但跟OpenAI, META都还是非常非常遥远的距离
: ,所以能做作finetune就不错了。
: 这是原生llama-2的试玩网址(记得把模型调到7b来比较)
: https://www.llama2.ai/
: 好,回归重点,中研院在网站上就已经说过了
: ####
: 以商用开源模型Llama-2-7b以及Atom-7b为基础,再补强繁体中文的处理能力
: ####
: 好,刚刚我说了Llam2-2-7b,那Atom-7b我刚刚没有提到,这是什么东西?
: Atom-7b就是https://github.com/FlagAlpha/Llama2-Chinese
: 这个就是中国训练出来的大语言模型,Atom-7b
: 中研院从头到尾都没有隐藏这件事,它就是基于中国训练的Atom-7b然后再用繁体中文去
: finetune出来的模型啊。
: 从头到尾中研院就没有隐藏这件事,完全不知道前面好像发现什么新大陆一样。
看到这篇真的龟懒趴火
语气还真的他妈的大啊 敢呛乡民去上LLM课程啊
谁不知道LLM的正确率一定会有误差?
现在的问题是我国最高学术研究机构中央研究院直接拿对岸LLM套
且直接用opencc大量将简体资料转繁体资料!
这很严重啊
第一
你今天是私人公司就算了 大家笑一笑就好
但中研院是什么等级?是直接隶属总统府的政府机构!
结果你他妈的拿台湾人民纳税钱 骗台湾人经费 然后抄中国LLM交差
还语气很大跟我们说 完全没藏啊!
第二
这垃圾模型标榜“商用”
所以是很多个人、学校、企业会接触到的
直接暴露这么多中国资讯 你确定会没问题?
政府成立数发部、强调资讯安全是在玩假的吗?
第三
台湾没算力、没资料、没模型
这大家都知道 大家也没在急 一步一步踏实地做嘛!
但这种为了求大众关注吸引投资骗取经费的偷吃步手法
才是被乡民真正唾弃的原因 无关政治

Links booklink

Contact Us: admin [ a t ] ucptt.com