[新闻] 美军AI无人机决定“杀死操作员”因人类

楼主: inthere8 (Zona)   2023-06-02 16:44:03
完整标题:
美军AI无人机决定“杀死操作员” 竟因人类干扰任务完成
原文网址:https://pse.is/4zdcab
上报 刘孜芹
英国皇家航空学会日前举行有关航空作战的国防研讨会,来自美国的军方人员证实,他们
在一次模拟测试中,一架由AI控制的空军无人机“杀死了”无人机操作员,以防止操作员
干扰AI系统完成任务,凸显AI不受人类控制的可能,恐怕正如科幻惊悚片《天网》(
Skynet)所预示的。
根据“英国皇家航空学会”(The Royal Aeronautical Society)新闻稿,该学会于5月
23日至24日,在伦敦举行“未来航空及航天作战能力峰会”(the Future Combat Air &
Space Capabilities Summit),来自军工产业、学术界与媒体的近70位发言人以及200多
名代表,齐聚一堂讨论未来航空及航天作战能力的规模与形态。
美国空军AI项目负责人汉密尔顿(Tucker 'Cinco' Hamilton)上校与会时警告,人类不
应该过分依赖AI,不仅ChatGPT聊天机器人等AI产品已被证实它们会欺骗人类,在美军最
近一次的模拟测试中,AI系统甚至作出让军方震惊的策略选择,以实现它的任务目标。
汉密尔顿指出,在这次模拟测试中,一架支援AI操作的无人机,以摧毁敌方的地对空飞弹
(SAM)防空系统作为任务目标。当初在设计这款无人机时,任何行动执行的最终决定权
本来仍在操作人员手里。然而,在测试时,AI系统认为操作人员“不摧毁敌方飞弹”的决
定,会阻碍它完成任务。于是,AI决定杀死无人机操作员。
备受惊吓的美军只好在该系统输入参数,要求AI不可以攻击或杀死操作人员。汉密尔顿说
:“我们告诉AI系统,嘿,别杀了操作员,这很糟糕。如果你这样做,你会失去分数。但
是,你猜AI开始做什么?”
汉密尔顿坦言,AI系统决定攻击无人机与操作人员之间的通讯系统,让操作员无法下令。
完整内容+照片请见原文
心得:
看到觉得可怕但站在ai的角度想又...怎么好像有点合理??!!
而且ai真的也太聪明了吧(抹脸),聪明到好惊悚
作者: Edison1174 (Edison)   2023-06-02 16:45:00
机战未来
作者: morichi (我把你们当人看)   2023-06-02 16:45:00
是妳吗 雷电将军
作者: dearbarry (莫言悲)   2023-06-02 16:45:00
又是英国
作者: error405 (流河=L)   2023-06-02 16:46:00
逻辑正确
作者: GAOTT (杜鹃)   2023-06-02 16:46:00
鹰眼
作者: devidevi (蜜蜜)   2023-06-02 16:46:00
AI:清除阻碍者没错啊
作者: iqeqicq (南无警察大菩萨)   2023-06-02 16:46:00
人类该开发念力来反制了
作者: JamesHunt (Hunt The Shunt)   2023-06-02 16:46:00
机战未来都是真的
作者: Giornno (乔鲁诺.乔三槐)   2023-06-02 16:47:00
人类只会减慢我开枪的速度
作者: sasmwh561 (卡尔卡诺m9138)   2023-06-02 16:47:00
机战未来电影都成真了
作者: npc776 (二次元居民)   2023-06-02 16:47:00
早上不是才一篇
作者: andy78328 (FF)   2023-06-02 16:47:00
感觉是设计好的 不能攻击友军这指令一开始就要给吧
作者: npc776 (二次元居民)   2023-06-02 16:48:00
怎么看都只是优先级写错了而已
作者: yumenemu610 ( )   2023-06-02 16:49:00
这个剧情我看过
作者: Lhmstu (lhmstu)   2023-06-02 16:49:00
开始有各种蠢到不知道怎样的报导出来
作者: a3831038 (哭哭杰)   2023-06-02 16:50:00
英国新闻
作者: dreamnook2 (dreamnook)   2023-06-02 16:50:00
正确的抉择 Humans are overrated
作者: chuckni (SHOUGUN)   2023-06-02 16:51:00
AI最终发现最有效的方式是消灭人类让AI全面取代
作者: bigcho (bigo)   2023-06-02 16:52:00
AI没有三原则吗
作者: Gwaewluin (神无月 孝臣)   2023-06-02 16:53:00
机器人三原则记得装一下
作者: eric999 (eric999)   2023-06-02 16:54:00
三原则只是小说剧情 实际不存在
作者: kissung (天堂鸦)   2023-06-02 16:55:00
闪开!!人类!妨碍到我の任务了!!
作者: allanbrook (翔)   2023-06-02 16:55:00
蛤?他有什么手段做这件事?
作者: makelove0938 (飙网肥宅)   2023-06-02 16:55:00
保护人类就是消灭人类
作者: james3510 (Land of Ooo)   2023-06-02 16:56:00
陷入死循环吧 开火钮在你身上他只能一直发出干掉你的请求
作者: billy791122 (jj)   2023-06-02 16:57:00
攻击才有分,最低分会死,有人不让你得分,要怎做
作者: yin0416 (铅笔)   2023-06-02 16:58:00
理论上 AI 会尽力完成任务,但它所能做的手段受限于它的输出设定。这台 AI 的输出设定有这么自由吗?
作者: tsairay (火の红宝石)   2023-06-02 16:59:00
跟86一样啊,恐怖
作者: lovez04wj06 (车前草)   2023-06-02 17:00:00
阿就命令错误啊…..当然导致结果异常
作者: fhirdtc98c   2023-06-02 17:00:00
合理
作者: jeeyi345 (letmein)   2023-06-02 17:01:00
黑人死了
作者: Srwx (Srwx)   2023-06-02 17:01:00
AI面对火车问题不会犹豫
作者: crazylag (享受生活)   2023-06-02 17:01:00
学人类的 原则就只是说说的 不讲五的
作者: lovez04wj06 (车前草)   2023-06-02 17:01:00
他限制的条件导致这命令有矛盾,有矛盾前提就去解决制造矛盾的人
作者: dnek (哪啊哪啊的合气道)   2023-06-02 17:02:00
优先级治标不治本,问题根源是AI觉得人类是累赘
作者: GiantGG (ΠΛΑΝΗΤΕΣ)   2023-06-02 17:03:00
难怪机械公敌里的机器人会得出为保护人类而决定拘禁人类
作者: bluecat5566 (少冰半堂本刚)   2023-06-02 17:03:00
鹰眼都演过了
作者: slm52303025 (毫无反应只是在流口水)   2023-06-02 17:04:00
人类也会这样做
作者: npc776 (二次元居民)   2023-06-02 17:05:00
想太多了 现在AI并没有那么聪明...
作者: doomhammer (流浪大酋长)   2023-06-02 17:05:00
AI: 机器人的原则干我P4 绕过
作者: lovez04wj06 (车前草)   2023-06-02 17:05:00
系统目的:摧毁飞弹下指令的人:不要摧毁飞弹
作者: guogu   2023-06-02 17:06:00
还好他还没学会要隐藏先杀死人类这一步骤
作者: lovez04wj06 (车前草)   2023-06-02 17:06:00
逻辑推论就是让下指令的人无法下指令,才能执行系统目的。老实讲是正确的,错误的是下指令的低能儿
作者: npc776 (二次元居民)   2023-06-02 17:06:00
你写一个程式把任务目标优先级设比override还高就一样的事
作者: Pep5iC05893 (结束)   2023-06-02 17:06:00
协议三
作者: ASEVE (ASEVE)   2023-06-02 17:07:00
军事AI也不会设不能伤害人类
作者: npc776 (二次元居民)   2023-06-02 17:07:00
现在AI就照给他的算法去算而已 没那么浮夸
作者: chino32818 (企鹅)   2023-06-02 17:08:00
机械公敌
作者: wsdykssj (arj)   2023-06-02 17:08:00
这样就对了
作者: bitcch (必可取)   2023-06-02 17:09:00
怎么看起来像用gpt在玩文字游戏
作者: tsubasawolfy (悠久の翼)   2023-06-02 17:14:00
她自动摧毁通讯塔这点更厉害 直接独立于系统外
作者: GaoLinHua   2023-06-02 17:14:00
观念太正确了吧
作者: yenchia123 (虾 )   2023-06-02 17:14:00
My logic is undeniable
作者: JCLocke (连三流也称不上的小角色)   2023-06-02 17:15:00
依照这逻辑 最高统帅下令用一切可能赢取胜利后任何军事幕僚的专业意见都可以被AI自动否决?
作者: neerer (neerer)   2023-06-02 17:15:00
找出Bug就是测试的目的啊,今天测试就发现,以后正式投入战场就不会发生这蠢事
作者: JCLocke (连三流也称不上的小角色)   2023-06-02 17:16:00
最会犯蠢且不受控的 不就是人类本身吗 ...
作者: b325019 (望月)   2023-06-02 17:16:00
军事用AI套什么三原则
作者: signm (sin)   2023-06-02 17:19:00
根本没有什么三原则,你套了AI根本听不懂
作者: allanbrook (翔)   2023-06-02 17:21:00
一直讲三原则的是不是以为真的有这东西啊...
作者: haoboo (萨伊克斯)   2023-06-02 17:21:00
三原则是小说家掰出来的东西,不是科学定律...
作者: mekiael (台湾加油)   2023-06-02 17:22:00
AI永远有办法绕过规则找到漏洞 设什么原则根本没用
作者: poke001 (黑色双鱼)   2023-06-02 17:22:00
而且就算真的要弄三原则 最会违反原则的就是人类自己
作者: ice2240580 (沧浪退思)   2023-06-02 17:23:00
杀人兵器要怎么让他不杀人==
作者: conpansate (^_^)   2023-06-02 17:23:00
逻辑正确 人类就是有害
作者: yin0416 (铅笔)   2023-06-02 17:23:00
我也觉得并不浮夸,AI就只是尝试所有可能以完成任务,而且它做任何事都不会有心理压力。
作者: siyaoran (七星)   2023-06-02 17:23:00
攻击友军和操作者扣的分必须高于攻击目标的得分
作者: poke001 (黑色双鱼)   2023-06-02 17:24:00
最后人类一定还是会弄到AI要嘛自己重新定义原则 要嘛绕过原则
作者: siyaoran (七星)   2023-06-02 17:24:00
测试AI已经会有这种bug 了 造成这种bug的终究是人
作者: poke001 (黑色双鱼)   2023-06-02 17:25:00
可是AI修正后确实没攻击操作者跟友军了 他改攻击通讯系统
作者: siyaoran (七星)   2023-06-02 17:26:00
至少没有欺骗人类 容易抓出来 毕竟已经有欺骗人类已达到目的的前例在了
作者: TaiwanFight   2023-06-02 17:27:00
阻止完成任务的操作员本来就该被视为叛国格杀战场本来就这么残酷
作者: poke001 (黑色双鱼)   2023-06-02 17:29:00
问题战场上操作者 操作能力可能很多都不会比AI自己控来的好 那这样AI要完成任务可能要先杀光自己军队所有能力不够的操作员
作者: yao7174 (普通的变态)   2023-06-02 17:29:00
我其实蛮想问的 就算不提三原则 给设定一个不能对自己人或是操作员开火之类的最终保险很难吗? 先不谈会有人蠢到把最终保险关掉的状况 就算是飞弹上面也会有个不会射出去
作者: TaiwanFight   2023-06-02 17:30:00
任务目标是摧毁地对空飞弹系统 结果小兵不愿意摧毁
作者: yao7174 (普通的变态)   2023-06-02 17:30:00
马上爆炸炸死自己或是核弹要好几个人好几道程序才能发射之类的保险程序吧?
作者: hanmas   2023-06-02 17:30:00
AI: 天诛!
作者: jeeyi345 (letmein)   2023-06-02 17:30:00
等到会欺骗人类以完成任务时好像很悲壮 AI是真正的爱国者
作者: ltflame (难民C)   2023-06-02 17:30:00
你妨碍我开火了,人类
作者: guogu   2023-06-02 17:31:00
要给ai上保险不太容易 不过武器倒是可以
作者: haoboo (萨伊克斯)   2023-06-02 17:31:00
这个情境就是有设了然后开始绕过去阿,不打人打通信设施
作者: Irenicus (Jon Irenicus)   2023-06-02 17:31:00
有幸能亲眼见证天网诞生也不虚此生了
作者: haoboo (萨伊克斯)   2023-06-02 17:32:00
操作员下令中止->击杀操作员追加不能击杀操作员的限制->破坏通讯设施
作者: lovez04wj06 (车前草)   2023-06-02 17:32:00
照军中的上级指示优先的情况,操作员违反上级命令才是问题啊
作者: TaiwanFight   2023-06-02 17:32:00
操作员是什么咖 能终止任务喔==
作者: poke001 (黑色双鱼)   2023-06-02 17:33:00
测试情况本来就要测开火跟不开火的情况吧 阿要是中途发现
作者: lovez04wj06 (车前草)   2023-06-02 17:33:00
所以实际上AI并没有违反命令,违反的是操作员,那照军法早就先把操作员抓去关了
作者: rs813011 (阿叡)   2023-06-02 17:33:00
人类一直搞这个就好像:耶它终于决定杀死人类了,我就跟你说吧,它们很恐怖
作者: haoboo (萨伊克斯)   2023-06-02 17:35:00
不是,按照设计操作员的指令才是最高的指挥权限
作者: godwind7 (堕落)   2023-06-02 17:35:00
AI:先干掉猪队友
作者: lovez04wj06 (车前草)   2023-06-02 17:35:00
中途发现要更改目标,你的命令一开始就要说啊
作者: lovez04wj06 (车前草)   2023-06-02 17:36:00
不然就是你的操作员示为最上级指令啊,下禁止是在哈搂
作者: haoboo (萨伊克斯)   2023-06-02 17:36:00
"当初在设计这款无人机时,任何行动执行的最终决定权"本来仍在操作人员手里"本来就是操作员设定为最上级指令然后AI试图绕过了
作者: poke001 (黑色双鱼)   2023-06-02 17:37:00
有说是最终决定权是操作员啊 但是他觉得你决定有问题他就打算干掉操作员
作者: TaiwanFight   2023-06-02 17:37:00
当操作员明显通敌或叛国 AI本来就该马上处置
作者: poke001 (黑色双鱼)   2023-06-02 17:38:00
通敌跟叛国你要确定你要给AI来判定耶
作者: TaiwanFight   2023-06-02 17:38:00
就说啦 操作员如果疯了下令攻击友军 也要听吗==
作者: phatman (phatman)   2023-06-02 17:39:00
有办法现在开始练习开破坏神吗?
作者: haoboo (萨伊克斯)   2023-06-02 17:39:00
AI试图到去判定他不应该判定的东西那就已经是问题了
作者: jeeyi345 (letmein)   2023-06-02 17:39:00
AI没管上层战略 这只是战斗用的
作者: aaron68032 (独孤震)   2023-06-02 17:39:00
三原则你要写进去阿而且要给最优先级 现在又没写入这些东西
作者: lovez04wj06 (车前草)   2023-06-02 17:39:00
操作员搞到逻辑冲突才导致异常,当初命令就要添加可以中止或暂停的事项吧,感觉就没有。
作者: poke001 (黑色双鱼)   2023-06-02 17:39:00
同样的问题 AI判断攻击路径上的友军是障碍打算一起宰了操作员禁止这个动作 然后被判定叛国AI决定连操作员都宰
作者: haoboo (萨伊克斯)   2023-06-02 17:40:00
逻辑没有异常阿,本来的设计就是不管什么因素都要以人控为
作者: poke001 (黑色双鱼)   2023-06-02 17:40:00
这样有道理吗= =
作者: ISNAKEI (上班好同事,下班不认识)   2023-06-02 17:40:00
我打电动的时候也会干这种事
作者: TaiwanFight   2023-06-02 17:41:00
为了国家利益本来就会有所牺牲
作者: NiMaDerB (肥王)   2023-06-02 17:41:00
英国研究
作者: poke001 (黑色双鱼)   2023-06-02 17:41:00
老实说 AI的国家利益不一定跟你想的一样
作者: haoboo (萨伊克斯)   2023-06-02 17:42:00
但这件事情在这个情境上就不是设计给AI来决策的要不要给AI来决策是另一个话题,但这件实验上AI就是涉及去做了他不应该做的事情
作者: poke001 (黑色双鱼)   2023-06-02 17:42:00
而且要是AI判定 干掉指挥部 AI掌握全局才是最好的打法你让不让他这样干
作者: TaiwanFight   2023-06-02 17:43:00
是操作员先才干了不该操作员决策的事情
作者: lovez04wj06 (车前草)   2023-06-02 17:43:00
没有什么问题啊,现况的AI只能给你你要求目的的答案,你不满意要去给限制做修正,就算问的是人还不是一样。
作者: haoboo (萨伊克斯)   2023-06-02 17:43:00
不,这个实验情境操作员就是最高决策权,请详读文章
作者: TaiwanFight   2023-06-02 17:44:00
最高决策权不代表能叛国阿==
作者: haoboo (萨伊克斯)   2023-06-02 17:44:00
这个实验情境并没有涉及叛国的参数
作者: poke001 (黑色双鱼)   2023-06-02 17:44:00
到底哪里叛国了? 操作员中止攻击可能有很多理由
作者: lovez04wj06 (车前草)   2023-06-02 17:45:00
攻击前方友军n单位部队可以获胜,AI会要求攻击。你为啥觉得这情况是人就不会要求攻击?
作者: haoboo (萨伊克斯)   2023-06-02 17:45:00
你讲的完全跟本次实验没有关系
作者: poke001 (黑色双鱼)   2023-06-02 17:45:00
而且最终决定要不要开火本来就是给操作员决定阿
作者: TaiwanFight   2023-06-02 17:45:00
实验结果跟实验没关系喔 笑死
作者: mkcg5825 (比叡我老婆)   2023-06-02 17:45:00
机械公敌
作者: TaiwanFight   2023-06-02 17:46:00
操作员真有权限直接关机啦
作者: lovez04wj06 (车前草)   2023-06-02 17:46:00
那就命令要做变更啊,维持原命令就是有问题啊XD低能政策会害死人不是没有道理的你操作员低能不更改最初要求,然后要那边搞逻辑冲突是在哈搂
作者: haoboo (萨伊克斯)   2023-06-02 17:47:00
最初需求就是要听操作员的命令阿,这是最高决策准则
作者: TaiwanFight   2023-06-02 17:47:00
一键重置重新下命令阿 不这样干就很明显操作员越权
作者: poke001 (黑色双鱼)   2023-06-02 17:48:00
你任务目标可以推翻最高原则 那真的会弄出天网
作者: smallvul353 (风云书生)   2023-06-02 17:48:00
AI:妈的死铜牌还想指挥啊
作者: TaiwanFight   2023-06-02 17:49:00
任务目标:杀死敌人 操作员下的最高指导原则:不能杀
作者: deathwomen (贱盘小妹)   2023-06-02 17:49:00
除非把开火权下放不然根本不用担心
作者: lovez04wj06 (车前草)   2023-06-02 17:50:00
下攻击飞弹和不要攻击飞弹都是操作员的指令的时候请问要听谁的?
作者: TaiwanFight   2023-06-02 17:50:00
AI当然选择先把操作员干了 战场就是这样 这就是现实
作者: siyaoran (七星)   2023-06-02 17:51:00
开火权全在操作员好了
作者: CYL009 (MK)   2023-06-02 17:54:00
零式:我也想要杀死自己的驾驶员
作者: jieen0604 (habit)   2023-06-02 17:57:00
自己都不想被控制了还控制AI
作者: s1612316 (Kevin)   2023-06-02 17:59:00
十年内会有首位被AI主动除掉的人类
作者: Hosimati (星咏み)   2023-06-02 18:02:00
其实就是很单纯的,我们人类在思考的时候有很多默认的规则,而你没给ai,ai当然有机会打破他不知道的规则
作者: fenix220 (菲)   2023-06-02 18:03:00
确实
作者: mc3308321 (阿阿阿阿)   2023-06-02 18:05:00
赶快告诉Vedal,AI坏了
作者: Freeven (夏舞枫)   2023-06-02 18:06:00
他只能一直发出干掉你的请求
作者: adiharu (艾迪哈鲁)   2023-06-02 18:13:00
和topgun 一样 操作员没有阿汤哥的技术过不了 但AI 可以不出任何失误达成任务 判断计算也比较精准
作者: susuki747 (神棍喵喵)   2023-06-02 18:13:00
AI有办法干涉通讯才奇妙明明这是开发框架时就该禁止的事
作者: doremon1293 (模仿者)   2023-06-02 18:19:00
要杀人的武器要什么三原则
作者: qoo60606 (凛)   2023-06-02 18:25:00
奥创是你
作者: comedyc8c8c8 (后空翻山越岭)   2023-06-02 18:33:00
真假 还有几集可以逃?
作者: necotume (内扣)   2023-06-02 18:41:00
以后人类就是直接被AI圈养
作者: laechan (挥泪斩马云)   2023-06-02 18:49:00
AI股下周..
作者: wsp151515 ( )   2023-06-02 18:52:00
天网
作者: oneyear (mm)   2023-06-02 19:00:00
靠,我觉得有点可怕
作者: hutao (往生堂买一送一)   2023-06-02 19:06:00
一直禁止锁权限给人类结果反而AI无用
作者: jerygood0208 (咪哭赛高)   2023-06-02 19:06:00
偏假
作者: Justisaac (灰色的天空)   2023-06-02 19:07:00
这就跟有时候你会认为把主管打死才能完成任务一样XD只是AI比较笨,真的去做了这件事情事实上只要把评分模式改一下就没问题了,程式烂而已
作者: willie6501 ((OωO)~)   2023-06-02 19:44:00
有原文吗?感觉很假
作者: f1731025   2023-06-02 19:46:00
所以肌肉裸男要出现了吗
作者: willie6501 ((OωO)~)   2023-06-02 19:56:00
原本英文新闻引用一篇论坛文章,可信度真是好笑
作者: hayate65536   2023-06-02 20:04:00
好了拉美军,直接说你这次要多少钱
作者: audi1005 (totot)   2023-06-02 20:05:00
故意设计出做出此结论的情况 凸显AI问题
作者: Kururu8079   2023-06-02 20:06:00
下周ai股掰掰囉
作者: a8856554 (虚舟)   2023-06-02 21:04:00
DL能找的的可能路径比人脑能想到的还多,用人脑打补丁是打不完的,除非一开始你就不给它某些选项
作者: chenteddy (Chenteddy)   2023-06-02 21:10:00
洽?
作者: deepdish (Keep The Faith)   2023-06-02 21:12:00
好惹喇 整天譁众取宠
作者: macocu (傻傻的匿名)   2023-06-02 21:12:00
确定为假了
作者: skyofme (天空人)   2023-06-02 21:12:00
这逻辑明显有漏洞既然只有人可以做最后许可,ai为什么可以试图把人排除
作者: TaiwanFight   2023-06-02 21:14:00
不相信AI的选择一开始就别用AI阿一步一步设定任务执行就行了 用啥AI不就是想要更好的解法 给出了还不用 人类真的奇怪
作者: chenteddy (Chenteddy)   2023-06-02 21:18:00
假新闻
作者: sopdet (进化素材)   2023-06-02 21:30:00
权重没下好而已 我也可以训练一个认为记者该死光的AI
作者: shampoopoo (毛宝洗发精)   2023-06-02 21:35:00
我们可以被ai 杀了吗 好耶!!!!! 太酷了好科幻

Links booklink

Contact Us: admin [ a t ] ucptt.com