其实光是中文资料不断地消失这件事情
用中文资料训练的LLM效果自然不会太好
中文的网络资料这几年不断消失 原因无他 很多中文圈的网络公司没钱收掉
这些资料就可能从世界上消失 等于中文的训练资料无法累积
资料不够 模型再大也没用
现在英文圈把整个网络的文本资料拿来训练不够 开始再把影片转化成文字抓来练
而且网络公司基本上都是英文圈的 资料最多最有钱 要赚钱也是优先做英文的
现在网络公司是美国独大 中文的LLM不是他们加减做 就是中国的网络公司做
台湾现在没有公司有那个财力从头做一个llama2等级的模型
※ 引述《wa007123456 (大笨羊)》之铭言：
: 大型语言模型(LLM)在处理语言的时候
: 都无法避免要执行分词的动作
: 所谓分词就是把句子中的 主词 动词 介系词 ...等
: 分离开来。
: 由于中文的特性，要进行分词其实是很有挑战的一件事；
: 反观英文可以透过空白来分离单字，实作上真的比较轻松。
: 没有要崇洋媚外，单纯讨论@@
: PS:
: 最近使用Python套件来做文字辨识
: 也发现中文不但辨识又慢又肥，而且辨识正确率也不是很好
: 请问中文在未来的世界中还具有什么优势吗?