[新闻] 非英语母语者写的英文文章,有一半被GPT

楼主: sppmg (sppmg)   2023-07-14 11:41:00
1.媒体来源:
ithome
2.记者署名:
陈晓莉
3.完整新闻标题:
非英语母语者写的英文文章,有一半被GPT侦测器标记为AI生成
4.完整新闻内文:
在诸如ChatGPT等基于生成式预训练模型(GPT)的聊天机器人问世之后,即有不少人利用
这类的工具来作研究或撰写文章,也使得老师或教授以各种GPT侦测器来判断学生的文章
是否来自AI,然而,最近的一项研究显示,母语非英文的使用者在撰写英文文章时,有超
过一半被这些GPT侦测器错误地辨识为AI生成的。
此一研究是由史丹福大学生物医学资料科学的助理教授James Zou所主导,刊登于《
Patterns》期刊,彰显了坊间的GPT侦测器具备语文上的偏见与歧视。
研究人员使用了7款热门的GPT侦测器来检查91篇源自中国论坛的托福写作文章,以及88篇
存放在Hewlett Foundation数据库中,由美国8年级生所撰写的英文作文,发现这些侦测
器比较能正确分辨美国学生所撰写的文章,却错误地把一半以上的91篇由中国人撰写的托
福文章当作是AI生成的。
研究人员并未公布用来实验的GPT侦测器名称,仅揭露了研究成果,指出平均而言,辨识
托福文章是否由AI撰写的错误率高达61.3%,当中有一款GPT侦测器的错误率甚至高达
97.8%,而且所有的侦测器一致认为当中的19.8%是由AI生成的。另一方面,针对8年级作
文的侦测错误率则仅有5.1%。
进一步分析发现,造成辨识错误的主要原因是托福文章在语言的多样化与词语的选择上较
为有限,而8年级作文的语言使用则更为复杂,相较之下,GPT侦测器更容易准确辨识后者

讽刺的是,当研究人员透过ChatGPT来强化这些托福文章的用字遣词,结果将其辨识为AI
生成的平均错误率就从61.3%降到11.6%了。反之,简化8年级作文中所使用的词汇,也让
这些GPT侦测器的错误率从5.1%大幅提高到56.9%。
虽然该研究是以中国论坛为样本,但其实它适用于任何非以英文为母语的使用者,如果懂
的英文单字不够多,在撰写英文文章时,就很容易被这些侦测器误认为是AI生成的。
5.完整新闻连结 (或短网址)不可用YAHOO、LINE、MSN等转载媒体:
https://www.ithome.com.tw/news/157743
6.备注:
5 月才有一篇新闻是:
> 一个教授判定整班学生半数用ChatGPT做报告不给他们毕业,
> 判定方式却竟是“ChatGPT说你有用”
以这研究来看还真是颇好笑!
不过话说回来,AI 处理结果也是要看训练时使用数据库是否正确。
处理结果也是要再进行验证。
没验证的结果跟垃圾没两样!

Links booklink

Contact Us: admin [ a t ] ucptt.com