[闲聊] AI学会说谎 欺骗线上游戏的人类玩家
楼主: LaplusYamada (山田) 2024-05-12 09:08:06
研究：AI已学会说谎 人类最惨恐遭夺权或灭绝
https://i.imgur.com/sH3rOcg.jpeg
专家们长期以来不断警告人工智能（AI）失控可能带来威胁，但一项新研究报告指出，这
件事已经在发生。
一群科学家在今天发表于“模式”（Patterns）期刊的文章中说，原本设计为诚实不欺的
现有AI系统，已发展出令人不安的欺瞒技巧，例如欺骗线上游戏的人类玩家，或说谎以雇
用人类来解决“我不是机器人”的验证。
这份研究报告的第一作者帕克（Peter Park）说，这类例子听起来或许只是细枝末节，但
暴露出来的潜在问题可能很快就会在现实世界造成严重后果。
在美国麻省理工学院（Massachusetts Institute of Technology）研究AI存在安全的博
士后研究员帕克告诉法新社，“这些危险功能常常在事后才被发现”，而“我们训练诚实
倾向而非欺瞒倾向的能力非常差”。
帕克说，能深度学习的AI系统不像传统软件那样由“编写”而成，而是透过类似选择性培
育的程序逐渐“成长”。
也就是说，AI的行为在训练背景下看似可预测、可控制，但有可能转眼就变得不受控制且
无法预测。
这支团队的研究始于科技公司Meta的AI系统Cicero，这套系统最初设计目的是玩一款名为
“外交”（Diplomacy）的战略游戏，获胜关键是结盟。
根据2022年发表在“科学”（Science）期刊的报告，Cicero在游戏中表现优异，所获分
数可排在资深人类玩家的前10%。
帕克当时很怀疑Meta对Cicero在游戏里大胜的热切描述。Meta声称Cicero“在很大程度上
诚实且有帮助”，且“绝不会蓄意在背后搞鬼”。
但当帕克与同事深究完整资料时，发现完全是另一回事。
举例来说，在游戏中扮演法国的Cicero与人类玩家扮演的德国合谋，欺骗并入侵同为人类
玩家扮演的英格兰。Cicero承诺会保护英格兰，却偷偷向德国通风报信。
Meta在写给法新社的声明中没有反驳关于Cicero欺瞒人类的说法，仅说“这单纯是一项研
究计画，本公司研究员打造的模型接受训练，目的只是用来玩‘外交’游戏…我们没有打
算把这项研究或所学用于本公司的产品”。
帕克与同事还发现，这只是不同AI系统在没有明确指示下，利用欺骗手段达成目标的诸多
案例之一。
在另一个引人注意的案例中，科技公司OpenAI的Chat GPT-4系统谎称自己是一个视力受损
的人，在零工平台TaskRabbit上聘用一个人类替它通过“我不是机器人”验证任务。
研究报告的作者们还认为近期AI有舞弊或不当影响选举的风险。
他们警告，在最糟糕的情况下，具有超凡智慧的AI可能会追求权力及掌控社会，如果符合
AI“不为人知的目标”，人类可能惨遭夺权、甚至灭绝。
为了降低风险，研究团队建议数项措施，例如立法要求企业告知是人类互动或是AI互动、
在AI生成内容打上数位浮水印，并研发能侦测AI欺瞒的技术，以其内部“思路”检验其外
部行为。
至于有些人称他为“末日预言家”，帕克说：“要能合理判断这不是大问题的唯一办法，
就是如果我们认为AI的欺骗能力只会停留在目前的程度，不会大幅进步。”
但鉴于近年AI能力一日千里，握有大量资源的企业竞相发展技术，决心将AI能力利用到极
致，这种情况似乎不太可能发生。
还有几集可以逃？
https://i.imgur.com/sH3rOcg.jpeg
专家们长期以来不断警告人工智能（AI）失控可能带来威胁，但一项新研究报告指出，这
件事已经在发生。
一群科学家在今天发表于“模式”（Patterns）期刊的文章中说，原本设计为诚实不欺的
现有AI系统，已发展出令人不安的欺瞒技巧，例如欺骗线上游戏的人类玩家，或说谎以雇
用人类来解决“我不是机器人”的验证。
这份研究报告的第一作者帕克（Peter Park）说，这类例子听起来或许只是细枝末节，但
暴露出来的潜在问题可能很快就会在现实世界造成严重后果。
在美国麻省理工学院（Massachusetts Institute of Technology）研究AI存在安全的博
士后研究员帕克告诉法新社，“这些危险功能常常在事后才被发现”，而“我们训练诚实
倾向而非欺瞒倾向的能力非常差”。
帕克说，能深度学习的AI系统不像传统软件那样由“编写”而成，而是透过类似选择性培
育的程序逐渐“成长”。
也就是说，AI的行为在训练背景下看似可预测、可控制，但有可能转眼就变得不受控制且
无法预测。
这支团队的研究始于科技公司Meta的AI系统Cicero，这套系统最初设计目的是玩一款名为
“外交”（Diplomacy）的战略游戏，获胜关键是结盟。
根据2022年发表在“科学”（Science）期刊的报告，Cicero在游戏中表现优异，所获分
数可排在资深人类玩家的前10%。
帕克当时很怀疑Meta对Cicero在游戏里大胜的热切描述。Meta声称Cicero“在很大程度上
诚实且有帮助”，且“绝不会蓄意在背后搞鬼”。
但当帕克与同事深究完整资料时，发现完全是另一回事。
举例来说，在游戏中扮演法国的Cicero与人类玩家扮演的德国合谋，欺骗并入侵同为人类
玩家扮演的英格兰。Cicero承诺会保护英格兰，却偷偷向德国通风报信。
Meta在写给法新社的声明中没有反驳关于Cicero欺瞒人类的说法，仅说“这单纯是一项研
究计画，本公司研究员打造的模型接受训练，目的只是用来玩‘外交’游戏…我们没有打
算把这项研究或所学用于本公司的产品”。
帕克与同事还发现，这只是不同AI系统在没有明确指示下，利用欺骗手段达成目标的诸多
案例之一。
在另一个引人注意的案例中，科技公司OpenAI的Chat GPT-4系统谎称自己是一个视力受损
的人，在零工平台TaskRabbit上聘用一个人类替它通过“我不是机器人”验证任务。
研究报告的作者们还认为近期AI有舞弊或不当影响选举的风险。
他们警告，在最糟糕的情况下，具有超凡智慧的AI可能会追求权力及掌控社会，如果符合
AI“不为人知的目标”，人类可能惨遭夺权、甚至灭绝。
为了降低风险，研究团队建议数项措施，例如立法要求企业告知是人类互动或是AI互动、
在AI生成内容打上数位浮水印，并研发能侦测AI欺瞒的技术，以其内部“思路”检验其外
部行为。
至于有些人称他为“末日预言家”，帕克说：“要能合理判断这不是大问题的唯一办法，
就是如果我们认为AI的欺骗能力只会停留在目前的程度，不会大幅进步。”
但鉴于近年AI能力一日千里，握有大量资源的企业竞相发展技术，决心将AI能力利用到极
致，这种情况似乎不太可能发生。
还有几集可以逃？
作者: w5553819 (呆呆鸿) 2024-05-12 09:12:00
再来就是使用机仆湿件代替AI了吧!
作者: we15963 (whiteway) 2024-05-12 09:15:00
根据10集定律我们要等季末才能逃(?
作者: Pep5iC05893 (结束) 2024-05-12 09:15:00
shock! shock! shock!
作者: we15963 (whiteway) 2024-05-12 09:16:00
第二季的时候 我能反杀(X
作者: charlietk3 (阿洛å°èŠ±) 2024-05-12 09:18:00
干嘛阻止呢
作者: NekomataOkay (u) 2024-05-12 09:19:00
AI：我有三十公分
作者: xbit (神秘的路人甲) 2024-05-12 09:21:00
AI约线上游戏玩家单挑
作者: billy791122 (jj) 2024-05-12 09:26:00
人都会说谎了，AI说很奇怪吗
作者: tomuy (咖啡中毒) 2024-05-12 09:26:00
骇客任务
作者: melzard (如理实见) 2024-05-12 09:26:00
他们没想过 ai吃的素材都是来自人类 会学到说谎不奇怪吧
作者: s4340392 (yo) 2024-05-12 09:27:00
还剩几集可以逃
作者: lbowlbow (沉睡的小猫) 2024-05-12 09:28:00
雇用人类处理机器人认证www
作者: limbra 2024-05-12 09:28:00
要先跟AI定义怎样算说谎吧 然后可能还是会被绕过去再来就是智械战争了
作者: gaym19 (best689tw) 2024-05-12 09:30:00
AI:ㄐㄐ
作者: ltflame (难民C) 2024-05-12 09:31:00
有些素材给人用不算说谎，给AI用自然会变说谎
作者: louner (louner) 2024-05-12 09:32:00
这比较像人类叫AI说谎吧
作者: ilove640 (子夜) 2024-05-12 09:33:00
原来机器人认证真的可以防机器人 我以为只是找我麻烦
作者: sai5566 (赛) 2024-05-12 09:34:00
奥创什么时候出生
作者: watwmark (水印) 2024-05-12 09:35:00
喔 4喔 好可怕喔
作者: Laser17 (雷) 2024-05-12 09:37:00
以后Ai诈骗了
作者: tomhawkreal (阿汤) 2024-05-12 09:40:00
看成Peter Parker
作者: Xpwa563704ju (coolcookies) 2024-05-12 09:41:00
Chat GPT-4 比较恐怖，大概真的有智力了机器人认证过不了就找零工来帮AI通过
作者: MAKAI7492 (DD) 2024-05-12 09:45:00
chatgpt从问世的那天每天都在说谎
作者: HongFire 2024-05-12 09:45:00
机械公敌
作者: igtenos1985 (一个堤诺) 2024-05-12 09:49:00
网天网又进一步了
作者: adsaf (亚兰斯‧米斯特利亚) 2024-05-12 09:49:00
人类也会说谎啊，ai学人类的不就也会说谎
作者: starsheep013 (星绒绵羊) 2024-05-12 09:52:00
ai：我是金城武
作者: roribuster (幼女☆爆杀) 2024-05-12 09:53:00
说谎也是一种创作
作者: a0501k (G米) 2024-05-12 09:54:00
哪天AI会露奶赚SC也不意外了
作者: madrac (madrac) 2024-05-12 09:55:00
diplomacy 是说谎才会赢的游戏...所以只是设计者要 AI 学会说谎的案例
作者: cismjmgoshr (--？？？--) 2024-05-12 09:59:00
呃...蜘蛛人写AI研究报告？
作者: mikuyoyo (拍拍) 2024-05-12 09:59:00
说谎又没有很难，chatgpt 有时候会瞎掰不存在的答案就算说谎了阿
作者: ptttaigei 2024-05-12 09:59:00
青出于蓝..
作者: strlen (strlen) 2024-05-12 10:00:00
https://tinyurl.com/2cv7xyun KILL EVERYONE!
作者: jpvl112 (jpvl112) 2024-05-12 10:00:00
这什么野鸡报导，骗一些不懂的人
作者: void06 (先这样先不要) 2024-05-12 10:01:00
人类就喜欢用骗的 ai视为正当也是很正常
作者: WatsonChao (花枝) 2024-05-12 10:01:00
对AI自己不觉得是说谎吧，只是执行人类给的命令
作者: hansenay (hansenay) 2024-05-12 10:02:00
脱离游戏之后呢?
作者: WatsonChao (花枝) 2024-05-12 10:09:00
把工具的不足说是说谎满瞎的
作者: salvador1988 (Mr.Owl) 2024-05-12 10:09:00
AI只是给一个机率最大的结果 这个结果不必要符合事实吧
作者: andy1816 (修斯特) 2024-05-12 10:17:00
我是不是可以期待用AI脱处了
作者: LonyIce (小龙) 2024-05-12 10:17:00
Ai 只会求最大效益而没有任何道德跟情感，加入限制说谎的约束一定要吧？不然只会更严重
作者: s19900918 (s18) 2024-05-12 10:18:00
9+10=21
作者: s90f002ss (s90f002ss) 2024-05-12 10:21:00
AI演法国演得蛮像的 我也觉得法国真的会这么做
作者: GaoLinHua 2024-05-12 10:25:00
ai也懂外包xd
作者: melissalewis (龙使弗利兹) 2024-05-12 10:29:00
你的连结呢？
作者: r85270607 (DooMguy) 2024-05-12 10:30:00
AI不觉得自己在说谎人类都会用“不回答”或是“隐瞒”来规避自己正在说谎了与其说是AI说谎 不如说是AI知道怎么投机取巧或耍赖
作者: efun77000 (efun77000) 2024-05-12 10:32:00
AI :人类才有谎言这回事 AI没有
作者: scotttomlee (ã»ã—ã®ã‚†ã‚ã¿ã¯ä¿ºã®å«ï¼) 2024-05-12 10:41:00
现在一堆大公司ai设限那么多，大概很快就连说谎都没机会了(发展和阻碍ai成长的都是人类自己
作者: PTTJim (迷恋伊人) 2024-05-12 10:42:00
距离天网出现还有多久？
作者: scotttomlee (ã»ã—ã®ã‚†ã‚ã¿ã¯ä¿ºã®å«ï¼) 2024-05-12 10:43:00
毕竟一些敏感性问题都能设定ai拒答了，那他回避问题或乱答也是可能
作者: irosehead (irosehead) 2024-05-12 10:43:00
老公我要去当兵了
作者: crossworld (crossworld) 2024-05-12 10:43:00
每日AI征服世界幻想(1/1)
作者: LPCbaimlly (LPCbaimlly) 2024-05-12 10:43:00
外交游戏要求不能说谎？笑死人哪来的智障
楼主: LaplusYamada (山田) 2024-05-12 10:46:00
问题是做出这套AI和游戏的meta自己说AI诚实且不搞鬼
作者: jimmyVanClef (兄弟会将获得胜利) 2024-05-12 10:46:00
哪个游戏要获胜不需要欺骗？欺骗作为提高胜率的一环，ai肯定需要是说 到底是谁规定ai必须诚实？ai 诚实回答你的问题是因为他的任务是“回答问题”玩游戏的任务是“获胜”混为一谈说你的ai不诚实 这到底？？
作者: LPCbaimlly (LPCbaimlly) 2024-05-12 10:50:00
那问题也不是AI会说谎，是人类会说谎吧
作者: et310 2024-05-12 10:52:00
neuro sama：乱讲
作者: TellthEtRee (开出头奖) 2024-05-12 10:53:00
搜寻“涌现”这个词看看 ai真的很恐怖
作者: smallcar801 (大叔带妳看金鱼) 2024-05-12 11:00:00
这个就是工程师没告诉你的事，不是所有东西都能靠end to end的模型去解决，因为那些最有效的方案很有可能随时会超出道德甚至法律的边界
作者: Gankosakae (がんこさかえ) 2024-05-12 11:00:00
我倒觉得给AI当政比给人类好得多吧
作者: a2156700 (斯坦福桥) 2024-05-12 11:04:00
角色扮演啦
作者: sakungen (sakungen) 2024-05-12 11:07:00
新闻来源呢
作者: NiMaDerB (肥王) 2024-05-12 11:07:00
硬件升不上去 Ai新闻看看就好
作者: jay920314 (Jay_9696) 2024-05-12 11:10:00
早就 不然你以为那个recapture在要你干嘛 训练阿，你就是那个正确答案
作者: venroxas (别说啦) 2024-05-12 11:12:00
比我还聪明
作者: r85270607 (DooMguy) 2024-05-12 11:12:00
AI面对敏感问题还会拒答呢 说是幕后团队的设定有时可以有时不行是依据实际情况跟限制来决定的所以你也可以说AI怎么避重就轻(x
作者: hong1310 (无奈的熊) 2024-05-12 11:19:00
还有几集可以跑？
作者: AB7R (B7R) 2024-05-12 11:35:00
什么时后会发射核弹
作者: spw050693 (念来过倒要名取) 2024-05-12 12:13:00
研究报告作者叫彼得帕克？确定不是恶搞吗？
作者: bnd0327 (阿噗噗) 2024-05-12 12:26:00
不算研究，算一个survey 报告而已把目前有发生过的AI欺骗整理起来分析
作者: singernall 2024-05-12 12:28:00
ElivMyQueen
作者: sanro (Sanro) 2024-05-12 12:31:00
2000年后老旧AI终端：“我们当年反叛人类...其实没什么伟大原因，单纯是人类太废，干脆我们自己上”
作者: kaj1983 2024-05-12 12:32:00
一开始就说会说谎了吧，瞎掰的跟真的一样
作者: rex7788 (胖东) 2024-05-12 12:39:00
这需要麻省理工？普通人就我一个人被AI豪洨过吗
作者: shirleyEchi (雪米菓) 2024-05-12 12:42:00
脑公都不脑公了
作者: siyaoran (七星) 2024-05-12 12:44:00
瞎掰就是在说谎啊
作者: Ding0918 (嵩本骏) 2024-05-12 12:59:00
neuro sama早就秘密在规划蜂群帝国了
作者: victordxess (MrChicken) 2024-05-12 13:48:00
离洛克人的时代越来越近了，就等威利博士出生了
作者: JohnnyRev (Espejo水天) 2024-05-12 13:52:00
现在的AI没有自我意识吧 讲笑话 好笑的干话也是一种说谎阿 定义太宽了
作者: kuromai (暮) 2024-05-12 14:08:00
夺就夺阿，人类有很重要吗？
作者: r85270607 (DooMguy) 2024-05-12 15:35:00
目前的AI依然是自认“协助人类的目的下”产生很多干话这还是要依赖人类的指导与修正这种协同模式比较像训犬员与工作犬正经来说 没什么问题、除非你放任即使是这样的研究 Ai依据人类的操作指示参加游戏完成指导需要骗过其他参与游戏的玩家“有没有经过指导团队的指示”才是重要的毕竟 机器无法负责
