Re: [闲聊] ChatGPT是语言模型不是搜寻引擎
楼主: arrenwu (键盘的战鬼) 2023-02-26 18:19:39
※ 引述《onionandy (Kayou)》之铭言：
: "目前的"chatGPT最主要的目标是跟使用者达成对话目的
: 至少他现在受限于数据库的关系
: 你问他 他给你百分之百正确答案这点是做不到的
: 还会一本正经胡说八道
: 但目前的chatGPT的语言能力已经很强了
: 对于你给他必要的资料 他就写出一篇文章给你这类工作
: chatGPT至少可以做到8~90分的成绩
: 现在早已有喂他资料、文章编写方向、目的、需要什么内容之类的
: 就可以写出一篇语言使用程度很不错的论文初稿的实例在
: 在已公开的范围来说
: 我个人认为
: chatGPT对于那些利用手边题材写文章的工作已经是个活生生的威胁了
: 欧美媒体也早已提出利用chatGPT来写新闻的论点
: 说到这边
: 有没有人对"利用手边题材写文章的工作"联想到什么了？
: 我想到的就是翻译
关于这个，最近腾讯的AI Lab在1/31有篇technical report
Link: https://arxiv.org/abs/2301.08745
这篇文章是想要比较 ChatGPT, Google翻译，DeepL，腾讯(Tencent)翻译的翻译表现
他们用的测试来源有这四样
https://i.imgur.com/mZEyC0G.jpg
因为ChatGPT只能手动操作的关系，他们并没有整套全部跑，
而是从每一样来源各选出50个句子来比较
评分适用个叫做 BLEU的分数 (这个我不太清楚是啥，反正是就是常用的评分)
一开始他们还先讨论了一下再ChatGPT里面用什么用的文句请他翻译比较好
他们有3个觉得比较适合的选择
https://i.imgur.com/yrDEObi.jpg
他们用 Flores-101 的 中->英 来决定哪种问法最好
https://i.imgur.com/XZ9zUaM.jpg
虽然看起来结果差不是太多，不过第三种问法好像至少比第一种好，
所以就选了第三种，也就是
Please provide the <目标语言> translation for these sentences
好啦，进入正题
多国语言翻译大比拼
https://i.imgur.com/GTmCHlX.jpg
De = 德文
En = 英文
Ro = 罗马尼亚文
Zh = 中文
图片里面那些 + - 是拿 Google翻译当基准的比较。
ChatGPT 的表现虽然大致上是比较差，但是跟罗马尼亚文有关的算是特烂
文章觉得这跟文本资源量的多寡有关，比如 德文<->英文 这种大家觉得资源很多的，
ChatGPT 就表现得比Google略差而已。
(附带一提，DeepL在这组测资的表现相当强悍)
这边腾讯AiLab的研究人员发现似乎用个枢纽语言的问话技巧对ChatGPT有影响。
比如 罗马尼亚文->中文 的翻译，如果换成
请先把文章(罗马尼亚文)翻译成英文，然后再翻译成中文
这个问法对于翻译品质是有影响的
https://i.imgur.com/vZdtT90.jpg
理论是 罗马尼亚文 -> 中文 资料量很少，
但 罗马尼亚文 -> 英文 和 英文 -> 中文 资料比较优良
分领域测试
这边有三组资料来源
WMT19 Bio: 生医领域
WMT20 Rob2: Reddit (这部分资料会比较乱，拼字错误、文法错误、省略、网络用语等)
WMT20 Rob3: 一群人的语音内容
结果如下
https://i.imgur.com/mQCOqzK.jpg
欸！ChatGPT很难得地在一个项目(WMT20 Rob3)获胜了！
总结
所以，ChatGPT在文本资料很丰富的语言转换(ex. 德<->英)可以跟这些商用翻译器打，
不过在某些部分就表现得很差 (好像废话)
有些很大差距的情况(ex. 罗马尼牙->中文)，可能可以透过使用一个枢纽语言来减缓。
但是就只是稍微拉近，Flores-101这组general的测资里面，还是不敌商用翻译器
然后，从分领域的测试结果来看，ChatGPT在讲话内容的翻译表现较佳，
在生医(很专门领域?)和 Reddit(社群网络?) 的表现就无法跟这些商用翻译器打
不过就像这篇文章的标题一样，这还只是个早期初步评估。
而且还有很多的限制会影响这文章的可靠性，比如重现性的问题。
ChatGPT不像其他翻译器重现性很大
: 在翻译这一块
: 未来可能真的只剩校对，不需要第一手的翻译工作
: 或者是说
: 第一手的翻译工作会转变成
: 告知chatGPT这类工具需要定义的名词后
: 按下请翻译这颗按钮
现在翻译不就是这样了吗？
: "目前的"chatGPT最主要的目标是跟使用者达成对话目的
: 至少他现在受限于数据库的关系
: 你问他 他给你百分之百正确答案这点是做不到的
: 还会一本正经胡说八道
: 但目前的chatGPT的语言能力已经很强了
: 对于你给他必要的资料 他就写出一篇文章给你这类工作
: chatGPT至少可以做到8~90分的成绩
: 现在早已有喂他资料、文章编写方向、目的、需要什么内容之类的
: 就可以写出一篇语言使用程度很不错的论文初稿的实例在
: 在已公开的范围来说
: 我个人认为
: chatGPT对于那些利用手边题材写文章的工作已经是个活生生的威胁了
: 欧美媒体也早已提出利用chatGPT来写新闻的论点
: 说到这边
: 有没有人对"利用手边题材写文章的工作"联想到什么了？
: 我想到的就是翻译
关于这个，最近腾讯的AI Lab在1/31有篇technical report
Link: https://arxiv.org/abs/2301.08745
这篇文章是想要比较 ChatGPT, Google翻译，DeepL，腾讯(Tencent)翻译的翻译表现
他们用的测试来源有这四样
https://i.imgur.com/mZEyC0G.jpg
因为ChatGPT只能手动操作的关系，他们并没有整套全部跑，
而是从每一样来源各选出50个句子来比较
评分适用个叫做 BLEU的分数 (这个我不太清楚是啥，反正是就是常用的评分)
一开始他们还先讨论了一下再ChatGPT里面用什么用的文句请他翻译比较好
他们有3个觉得比较适合的选择
https://i.imgur.com/yrDEObi.jpg
他们用 Flores-101 的 中->英 来决定哪种问法最好
https://i.imgur.com/XZ9zUaM.jpg
虽然看起来结果差不是太多，不过第三种问法好像至少比第一种好，
所以就选了第三种，也就是
Please provide the <目标语言> translation for these sentences
好啦，进入正题
多国语言翻译大比拼
https://i.imgur.com/GTmCHlX.jpg
De = 德文
En = 英文
Ro = 罗马尼亚文
Zh = 中文
图片里面那些 + - 是拿 Google翻译当基准的比较。
ChatGPT 的表现虽然大致上是比较差，但是跟罗马尼亚文有关的算是特烂
文章觉得这跟文本资源量的多寡有关，比如 德文<->英文 这种大家觉得资源很多的，
ChatGPT 就表现得比Google略差而已。
(附带一提，DeepL在这组测资的表现相当强悍)
这边腾讯AiLab的研究人员发现似乎用个枢纽语言的问话技巧对ChatGPT有影响。
比如 罗马尼亚文->中文 的翻译，如果换成
请先把文章(罗马尼亚文)翻译成英文，然后再翻译成中文
这个问法对于翻译品质是有影响的
https://i.imgur.com/vZdtT90.jpg
理论是 罗马尼亚文 -> 中文 资料量很少，
但 罗马尼亚文 -> 英文 和 英文 -> 中文 资料比较优良
分领域测试
这边有三组资料来源
WMT19 Bio: 生医领域
WMT20 Rob2: Reddit (这部分资料会比较乱，拼字错误、文法错误、省略、网络用语等)
WMT20 Rob3: 一群人的语音内容
结果如下
https://i.imgur.com/mQCOqzK.jpg
欸！ChatGPT很难得地在一个项目(WMT20 Rob3)获胜了！
总结
所以，ChatGPT在文本资料很丰富的语言转换(ex. 德<->英)可以跟这些商用翻译器打，
不过在某些部分就表现得很差 (好像废话)
有些很大差距的情况(ex. 罗马尼牙->中文)，可能可以透过使用一个枢纽语言来减缓。
但是就只是稍微拉近，Flores-101这组general的测资里面，还是不敌商用翻译器
然后，从分领域的测试结果来看，ChatGPT在讲话内容的翻译表现较佳，
在生医(很专门领域?)和 Reddit(社群网络?) 的表现就无法跟这些商用翻译器打
不过就像这篇文章的标题一样，这还只是个早期初步评估。
而且还有很多的限制会影响这文章的可靠性，比如重现性的问题。
ChatGPT不像其他翻译器重现性很大
: 在翻译这一块
: 未来可能真的只剩校对，不需要第一手的翻译工作
: 或者是说
: 第一手的翻译工作会转变成
: 告知chatGPT这类工具需要定义的名词后
: 按下请翻译这颗按钮
现在翻译不就是这样了吗？
作者: lsd25968 (cookie) 2023-02-26 18:21:00
看来是当年被老板残害太深 报paper报习惯了==
作者: MikoSakura35 2023-02-26 18:26:00
枢纽语言也太酷
作者: BruceChang (=A5e) 2023-02-26 18:26:00
翻英再翻比较好是每个都这样啊
作者: tsubasawolfy (悠久の翼) 2023-02-26 18:43:00
生医领域有专门爬PubMed的BioGPT，不过还是用3.0版本。那东西如果成熟….期刊跟Reviewer会烦恼一阵子。下关键字跟限定范围后就自动产生它从数据库学到的，再顺便帮你加文献索引。
作者: LastAttack (与我无关~~) 2023-02-26 19:03:00
最后一句笑死 原原po翻译软件用云的枢纽语言应该不是新玩意 道听涂说google日翻中就是日翻英再翻中
作者: laechan (挥泪斩马云) 2023-02-26 19:24:00
一般人只需要一般的翻译，透过适当的前置文引导，翻译很强的，图片型内含文字的游戏方公告，先转成文字，再贴去chatgpt，翻译出来的东西，可阅读性高多了
