大型语言模型(LLM)在处理语言的时候
都无法避免要执行分词的动作
所谓分词就是把句子中的 主词 动词 介系词 ...等
分离开来。
由于中文的特性，要进行分词其实是很有挑战的一件事；
反观英文可以透过空白来分离单字，实作上真的比较轻松。
没有要崇洋媚外，单纯讨论@@
PS:
最近使用Python套件来做文字辨识
也发现中文不但辨识又慢又肥，而且辨识正确率也不是很好
请问中文在未来的世界中还具有什么优势吗?