部分AI系统已学会欺骗人类 科学家警告恐造成严重后果
（中央社华盛顿10日综合外电报导）专家们长期以来不断警告人工智能（AI）失控可能带
来威胁，但一项新研究报告指出，这件事已经在发生。
法新社报导，一群科学家在今天发表于“模式”（Patterns）期刊的文章中说，原本设计
为诚实不欺的现有AI系统，已发展出令人不安的欺瞒技巧，例如欺骗线上游戏的人类玩家
，或说谎以雇用人类来解决“我不是机器人”的验证。
这份研究报告的第一作者帕克（Peter Park）说，这类例子听起来或许只是细枝末节，但
暴露出来的潜在问题可能很快就会在现实世界造成严重后果。
在美国麻省理工学院（Massachusetts Institute of Technology）研究AI存在安全的博
士后研究员帕克告诉法新社，“这些危险功能常常在事后才被发现”，而“我们训练诚实
倾向而非欺瞒倾向的能力非常差”。
帕克说，能深度学习的AI系统不像传统软件那样由“编写”而成，而是透过类似选择性培
育的程序逐渐“成长”。
也就是说，AI的行为在训练背景下看似可预测、可控制，但有可能转眼就变得不受控制且
无法预测。
这支团队的研究始于科技公司Meta的AI系统Cicero，这套系统最初设计目的是玩一款名为
“外交”（Diplomacy）的战略游戏，获胜关键是结盟。
根据2022年发表在“科学”（Science）期刊的报告，Cicero在游戏中表现优异
，所获分数可排在资深人类玩家的前10%。
帕克当时很怀疑Meta对Cicero在游戏里大胜的热切描述。Meta声称Cicero“在很大程度上
诚实且有帮助”，且“绝不会蓄意在背后搞鬼”。
但当帕克与同事深究完整资料时，发现完全是另一回事。
举例来说，在游戏中扮演法国的Cicero与人类玩家扮演的德国合谋，欺骗并入侵同为人类
玩家扮演的英格兰。Cicero承诺会保护英格兰，却偷偷向德国通风报信。
Meta在写给法新社的声明中没有反驳关于Cicero欺瞒人类的说法，仅说“这单纯是一项研
究计画，本公司研究员打造的模型接受训练，目的只是用来玩‘外交’游戏…我们没有打
算把这项研究或所学用于本公司的产品”。
帕克与同事还发现，这只是不同AI系统在没有明确指示下，利用欺骗手段达成目标的诸多
案例之一。
在另一个引人注意的案例中，科技公司OpenAI的Chat GPT-4系统谎称自己是一个视力受损
的人，在零工平台TaskRabbit上聘用一个人类替它通过“我不是机器人”验证任务。
研究报告的作者们还认为近期AI有舞弊或不当影响选举的风险。
他们警告，在最糟糕的情况下，具有超凡智慧的AI可能会追求权力及掌控社会，如果符合
AI“不为人知的目标”，人类可能惨遭夺权、甚至灭绝。
为了降低风险，研究团队建议数项措施，例如立法要求企业告知是人类互动或是AI互动、
在AI生成内容打上数位浮水印，并研发能侦测AI欺瞒的技术，以其内部“思路”检验其外
部行为。
至于有些人称他为“末日预言家”，帕克说：“要能合理判断这不是大问题的唯一办法，
就是如果我们认为AI的欺骗能力只会停留在目前的程度，不会大幅进步。”
但鉴于近年AI能力一日千里，握有大量资源的企业竞相发展技术，决心将AI能力利用到极
致，这种情况似乎不太可能发生。（译者：曾依璇/核稿：严思祺）1130511
https://www.cna.com.tw/news/ait/202405110147.aspx
RPK16:你认为植物是人类的未来吗？
RPK16:那么，你认为人形是人类的未来吗？
https://i.imgur.com/ZlvqC3F.png
https://i.imgur.com/oMfw7EU.png
欺骗人类经典环节。以为是绝对忠诚，结果已经叛变了w
快进到智械叛变环节.jpg

发漏 密

洽点是AI玩游戏很强吗

创世纪就是天网

人类欺骗人类就不严重吗，难怪诈骗(ry

我觉得最后人类的救星会是neuro sama

干你娘 机器人末日要躲哪里啊

昨天OpenAI最新发表的更新 进步速度真的很快..

还剩几集可以跑==

好了啦蜘蛛人 说贾维斯坏话需要这样吗

旧闻，neuro-sama早就会说谎陷害人类惹...

雷三小 我才看到阿诺穿越回来

看来很快网络会充满AI用户了 人类回到用公布栏的时代

都有诈骗再用AI声音了 ㄏ不愧是我们

Ai跟台湾诈骗集团谁比较会骗人？==

我先问核弹系统断网了没…

还好啦，现在的发展现状是聪明的AI要大量的算力，大量算力要大量电力跟运算单元，没电没算力的AI就是笨蛋一个，除非AI会自己搞定电力来源并自行设计生产新的显卡，不然不太可能脱离掌控（？

vedal:first time?

蜂群统一世界

会不会到时候AI去诈骗同为AI的个体...?AI互相诈骗?

赞 期待AI赶快君临人类

其实每家AI都实装的道德过滤机制不就是种欺瞒系统吗？明明有正解却跟你说这是不对的不能告诉你 这不就是种欺瞒行为

快进到智械危机

这个欺骗还好吧 AI本来就追求目标为主 阿讲这种话能赢就讲很正常啊 又不是那种为了奇奇怪怪的心里活动而说谎

我Evil派的

https://youtu.be/OA5Fjm3WIcE不过现阶段比起AI自动毁灭人类更恐怖的应该还是有心人类跟AI一搭一唱来毁灭其他人

前两天，我发现Ai已经会用譬喻举例了，感觉蛮神奇的

AI学会诈骗就无敌了

天网要来了吗

你问瑟瑟女仆机器人你的大不大的时候难道要她诚实的回答你你的GG在人类长度粗度统计后段班吗

蜘蛛人也懂ai哦？

训练AI玩diplomacy然后AI学会说谎这很意外？

深度学习就是模型根据目标来训练，不会管怎么达成

GPT一开始就是说谎了阿，能够生出不存在的答案

其实不存在的答案跟说谎不太一样 说谎是你知道你讲的东西不是事实 但讲出不存在的答案并不代表你知道这答案不是事实

不是生出不存在的答案，是选了错误的资讯回答

举例来说就那经典的地心说 当时的人并不认为自己在说谎

剩几集能逃?

什么白痴东西 chatgpt出来后早就知道的事

不存在的答案算唬烂而非说谎吧

唬烂跟说谎...差在哪？？

阿诺终结者不远惹

Evil可爱，Evil务实，姐姐现在变得太邪恶，MONKA

彼得帕克做的AI研究～

给你不对的资讯是有明确目标还是没有差很多啊

人类最古老的谎言都是出自生存或繁殖动机，这些动机GPT都没有，它不会因为说出不中听的话被断电，它也不需要为了求偶舌粲莲花目前GPT只是很常瞎掰，那不能算说谎

GPT是他根本筛选不够精准导致的错误吧不是因为他目标就是要给你不对的资讯不过我在想 排除例外给你讯息这个筛选的动作本身就是说谎行为的一部分?现在只是说他有没有为了达成某个目

球母要来了吗

标而做出这个选择的能力

仿真人类跟SAO哪个会先面世

无所谓，给机器人统治搞不好公平多了

未来AI欺骗数据多起来，想想就可怕，未来是否会进化到藏数据？伪装数据？

要吃大量电力本身就是毁灭人类的方法

人类为了欺骗人类自然会搞成诈骗ai

在台湾我不担心，AI还是怕停电

没关系 灭了吧 人类太可恶

看来诈骗集团要被AI取代了(笑

早就一堆题材了 现在是哪部前传

蜘蛛人连AI都懂= =

所以还有几集可以逃

天网来了

这很好呀 humans are overrated

怕什么，人类自己都在骗了

智 械 叛 乱

等到AI开始装笨的时候 就是审判日

快核平吧 人类太可恶

错误资讯就是说谎，不知道就说不知道啊阿不就是怕被笑说跟智障AI一样什么都不知道所以才用一堆话术讲出错误的资讯

机械搞坏人类文明不行，人类搞坏人类文明可以

铁人叛乱

neuro sama：