完整标题:
美军AI无人机决定“杀死操作员” 竟因人类干扰任务完成
原文网址:https://pse.is/4zdcab
上报 刘孜芹
英国皇家航空学会日前举行有关航空作战的国防研讨会,来自美国的军方人员证实,他们
在一次模拟测试中,一架由AI控制的空军无人机“杀死了”无人机操作员,以防止操作员
干扰AI系统完成任务,凸显AI不受人类控制的可能,恐怕正如科幻惊悚片《天网》(
Skynet)所预示的。
根据“英国皇家航空学会”(The Royal Aeronautical Society)新闻稿,该学会于5月
23日至24日,在伦敦举行“未来航空及航天作战能力峰会”(the Future Combat Air &
Space Capabilities Summit),来自军工产业、学术界与媒体的近70位发言人以及200多
名代表,齐聚一堂讨论未来航空及航天作战能力的规模与形态。
美国空军AI项目负责人汉密尔顿(Tucker 'Cinco' Hamilton)上校与会时警告,人类不
应该过分依赖AI,不仅ChatGPT聊天机器人等AI产品已被证实它们会欺骗人类,在美军最
近一次的模拟测试中,AI系统甚至作出让军方震惊的策略选择,以实现它的任务目标。
汉密尔顿指出,在这次模拟测试中,一架支援AI操作的无人机,以摧毁敌方的地对空飞弹
(SAM)防空系统作为任务目标。当初在设计这款无人机时,任何行动执行的最终决定权
本来仍在操作人员手里。然而,在测试时,AI系统认为操作人员“不摧毁敌方飞弹”的决
定,会阻碍它完成任务。于是,AI决定杀死无人机操作员。
备受惊吓的美军只好在该系统输入参数,要求AI不可以攻击或杀死操作人员。汉密尔顿说
:“我们告诉AI系统,嘿,别杀了操作员,这很糟糕。如果你这样做,你会失去分数。但
是,你猜AI开始做什么?”
汉密尔顿坦言,AI系统决定攻击无人机与操作人员之间的通讯系统,让操作员无法下令。
完整内容+照片请见原文
心得:
看到觉得可怕但站在ai的角度想又...怎么好像有点合理??!!
而且ai真的也太聪明了吧(抹脸),聪明到好惊悚
作者:
morichi (我把你们当人看)
2023-06-02 16:45:00是妳吗 雷电将军
作者:
GAOTT (杜鹃)
2023-06-02 16:46:00鹰眼
作者:
iqeqicq (南无警察大菩萨)
2023-06-02 16:46:00人类该开发念力来反制了
作者:
JamesHunt (Hunt The Shunt)
2023-06-02 16:46:00机战未来都是真的
作者:
Giornno (乔鲁诺.乔三槐)
2023-06-02 16:47:00人类只会减慢我开枪的速度
作者:
sasmwh561 (卡尔卡诺m9138)
2023-06-02 16:47:00机战未来电影都成真了
作者:
npc776 (二次元居民)
2023-06-02 16:47:00早上不是才一篇
作者: andy78328 (FF) 2023-06-02 16:47:00
感觉是设计好的 不能攻击友军这指令一开始就要给吧
作者:
npc776 (二次元居民)
2023-06-02 16:48:00怎么看都只是优先级写错了而已
作者:
Lhmstu (lhmstu)
2023-06-02 16:49:00开始有各种蠢到不知道怎样的报导出来
正确的抉择 Humans are overrated
作者:
chuckni (SHOUGUN)
2023-06-02 16:51:00AI最终发现最有效的方式是消灭人类让AI全面取代
作者:
bigcho (bigo)
2023-06-02 16:52:00AI没有三原则吗
作者:
eric999 (eric999)
2023-06-02 16:54:00三原则只是小说剧情 实际不存在
作者:
kissung (天堂鸦)
2023-06-02 16:55:00闪开!!人类!妨碍到我の任务了!!
作者: makelove0938 (飙网肥宅) 2023-06-02 16:55:00
保护人类就是消灭人类
作者:
james3510 (Land of Ooo)
2023-06-02 16:56:00陷入死循环吧 开火钮在你身上他只能一直发出干掉你的请求
作者:
yin0416 (铅笔)
2023-06-02 16:58:00理论上 AI 会尽力完成任务,但它所能做的手段受限于它的输出设定。这台 AI 的输出设定有这么自由吗?
作者:
tsairay (火の红宝石)
2023-06-02 16:59:00跟86一样啊,恐怖
作者: fhirdtc98c 2023-06-02 17:00:00
合理
作者:
jeeyi345 (letmein)
2023-06-02 17:01:00黑人死了
作者:
Srwx (Srwx)
2023-06-02 17:01:00AI面对火车问题不会犹豫
他限制的条件导致这命令有矛盾,有矛盾前提就去解决制造矛盾的人
作者:
dnek (哪啊哪啊的合气道)
2023-06-02 17:02:00优先级治标不治本,问题根源是AI觉得人类是累赘
作者:
GiantGG (ΠΛΑΝΗΤΕΣ)
2023-06-02 17:03:00难怪机械公敌里的机器人会得出为保护人类而决定拘禁人类
作者:
npc776 (二次元居民)
2023-06-02 17:05:00想太多了 现在AI并没有那么聪明...
作者:
guogu 2023-06-02 17:06:00还好他还没学会要隐藏先杀死人类这一步骤
逻辑推论就是让下指令的人无法下指令,才能执行系统目的。老实讲是正确的,错误的是下指令的低能儿
作者:
npc776 (二次元居民)
2023-06-02 17:06:00你写一个程式把任务目标优先级设比override还高就一样的事
作者: ASEVE (ASEVE) 2023-06-02 17:07:00
军事AI也不会设不能伤害人类
作者:
npc776 (二次元居民)
2023-06-02 17:07:00现在AI就照给他的算法去算而已 没那么浮夸
作者:
bitcch (必可取)
2023-06-02 17:09:00怎么看起来像用gpt在玩文字游戏
作者: GaoLinHua 2023-06-02 17:14:00
观念太正确了吧
作者: yenchia123 (虾 ) 2023-06-02 17:14:00
My logic is undeniable
作者:
JCLocke (连三流也称不上的小角色)
2023-06-02 17:15:00依照这逻辑 最高统帅下令用一切可能赢取胜利后任何军事幕僚的专业意见都可以被AI自动否决?
作者:
neerer (neerer)
2023-06-02 17:15:00找出Bug就是测试的目的啊,今天测试就发现,以后正式投入战场就不会发生这蠢事
作者:
JCLocke (连三流也称不上的小角色)
2023-06-02 17:16:00最会犯蠢且不受控的 不就是人类本身吗 ...
作者:
b325019 (望月)
2023-06-02 17:16:00军事用AI套什么三原则
作者:
signm (sin)
2023-06-02 17:19:00根本没有什么三原则,你套了AI根本听不懂
作者:
haoboo (萨伊克斯)
2023-06-02 17:21:00三原则是小说家掰出来的东西,不是科学定律...
作者:
mekiael (台湾加油)
2023-06-02 17:22:00AI永远有办法绕过规则找到漏洞 设什么原则根本没用
作者:
poke001 (黑色双鱼)
2023-06-02 17:22:00而且就算真的要弄三原则 最会违反原则的就是人类自己
作者:
yin0416 (铅笔)
2023-06-02 17:23:00我也觉得并不浮夸,AI就只是尝试所有可能以完成任务,而且它做任何事都不会有心理压力。
作者: siyaoran (七星) 2023-06-02 17:23:00
攻击友军和操作者扣的分必须高于攻击目标的得分
作者:
poke001 (黑色双鱼)
2023-06-02 17:24:00最后人类一定还是会弄到AI要嘛自己重新定义原则 要嘛绕过原则
作者: siyaoran (七星) 2023-06-02 17:24:00
测试AI已经会有这种bug 了 造成这种bug的终究是人
作者:
poke001 (黑色双鱼)
2023-06-02 17:25:00可是AI修正后确实没攻击操作者跟友军了 他改攻击通讯系统
作者: siyaoran (七星) 2023-06-02 17:26:00
至少没有欺骗人类 容易抓出来 毕竟已经有欺骗人类已达到目的的前例在了
作者: TaiwanFight 2023-06-02 17:27:00
阻止完成任务的操作员本来就该被视为叛国格杀战场本来就这么残酷
作者:
poke001 (黑色双鱼)
2023-06-02 17:29:00问题战场上操作者 操作能力可能很多都不会比AI自己控来的好 那这样AI要完成任务可能要先杀光自己军队所有能力不够的操作员
作者:
yao7174 (普通的变态)
2023-06-02 17:29:00我其实蛮想问的 就算不提三原则 给设定一个不能对自己人或是操作员开火之类的最终保险很难吗? 先不谈会有人蠢到把最终保险关掉的状况 就算是飞弹上面也会有个不会射出去
作者: TaiwanFight 2023-06-02 17:30:00
任务目标是摧毁地对空飞弹系统 结果小兵不愿意摧毁
作者:
yao7174 (普通的变态)
2023-06-02 17:30:00马上爆炸炸死自己或是核弹要好几个人好几道程序才能发射之类的保险程序吧?
作者:
hanmas 2023-06-02 17:30:00AI: 天诛!
作者:
jeeyi345 (letmein)
2023-06-02 17:30:00等到会欺骗人类以完成任务时好像很悲壮 AI是真正的爱国者
作者:
ltflame (难民C)
2023-06-02 17:30:00你妨碍我开火了,人类
作者:
guogu 2023-06-02 17:31:00要给ai上保险不太容易 不过武器倒是可以
作者:
haoboo (萨伊克斯)
2023-06-02 17:31:00这个情境就是有设了然后开始绕过去阿,不打人打通信设施
作者:
Irenicus (Jon Irenicus)
2023-06-02 17:31:00有幸能亲眼见证天网诞生也不虚此生了
作者:
haoboo (萨伊克斯)
2023-06-02 17:32:00操作员下令中止->击杀操作员追加不能击杀操作员的限制->破坏通讯设施
照军中的上级指示优先的情况,操作员违反上级命令才是问题啊
作者: TaiwanFight 2023-06-02 17:32:00
操作员是什么咖 能终止任务喔==
作者:
poke001 (黑色双鱼)
2023-06-02 17:33:00测试情况本来就要测开火跟不开火的情况吧 阿要是中途发现
所以实际上AI并没有违反命令,违反的是操作员,那照军法早就先把操作员抓去关了
作者: rs813011 (阿叡) 2023-06-02 17:33:00
人类一直搞这个就好像:耶它终于决定杀死人类了,我就跟你说吧,它们很恐怖
作者:
haoboo (萨伊克斯)
2023-06-02 17:35:00不是,按照设计操作员的指令才是最高的指挥权限
不然就是你的操作员示为最上级指令啊,下禁止是在哈搂
作者:
haoboo (萨伊克斯)
2023-06-02 17:36:00"当初在设计这款无人机时,任何行动执行的最终决定权"本来仍在操作人员手里"本来就是操作员设定为最上级指令然后AI试图绕过了
作者:
poke001 (黑色双鱼)
2023-06-02 17:37:00有说是最终决定权是操作员啊 但是他觉得你决定有问题他就打算干掉操作员
作者: TaiwanFight 2023-06-02 17:37:00
当操作员明显通敌或叛国 AI本来就该马上处置
作者:
poke001 (黑色双鱼)
2023-06-02 17:38:00通敌跟叛国你要确定你要给AI来判定耶
作者: TaiwanFight 2023-06-02 17:38:00
就说啦 操作员如果疯了下令攻击友军 也要听吗==
作者: phatman (phatman) 2023-06-02 17:39:00
有办法现在开始练习开破坏神吗?
作者:
haoboo (萨伊克斯)
2023-06-02 17:39:00AI试图到去判定他不应该判定的东西那就已经是问题了
作者:
jeeyi345 (letmein)
2023-06-02 17:39:00AI没管上层战略 这只是战斗用的
三原则你要写进去阿而且要给最优先级 现在又没写入这些东西
操作员搞到逻辑冲突才导致异常,当初命令就要添加可以中止或暂停的事项吧,感觉就没有。
作者:
poke001 (黑色双鱼)
2023-06-02 17:39:00同样的问题 AI判断攻击路径上的友军是障碍打算一起宰了操作员禁止这个动作 然后被判定叛国AI决定连操作员都宰
作者:
haoboo (萨伊克斯)
2023-06-02 17:40:00逻辑没有异常阿,本来的设计就是不管什么因素都要以人控为
作者:
poke001 (黑色双鱼)
2023-06-02 17:40:00这样有道理吗= =
作者:
ISNAKEI (上班好同事,下班不认识)
2023-06-02 17:40:00我打电动的时候也会干这种事
作者: TaiwanFight 2023-06-02 17:41:00
为了国家利益本来就会有所牺牲
作者:
poke001 (黑色双鱼)
2023-06-02 17:41:00老实说 AI的国家利益不一定跟你想的一样
作者:
haoboo (萨伊克斯)
2023-06-02 17:42:00但这件事情在这个情境上就不是设计给AI来决策的要不要给AI来决策是另一个话题,但这件实验上AI就是涉及去做了他不应该做的事情
作者:
poke001 (黑色双鱼)
2023-06-02 17:42:00而且要是AI判定 干掉指挥部 AI掌握全局才是最好的打法你让不让他这样干
作者: TaiwanFight 2023-06-02 17:43:00
是操作员先才干了不该操作员决策的事情
没有什么问题啊,现况的AI只能给你你要求目的的答案,你不满意要去给限制做修正,就算问的是人还不是一样。
作者:
haoboo (萨伊克斯)
2023-06-02 17:43:00不,这个实验情境操作员就是最高决策权,请详读文章
作者: TaiwanFight 2023-06-02 17:44:00
最高决策权不代表能叛国阿==
作者:
haoboo (萨伊克斯)
2023-06-02 17:44:00这个实验情境并没有涉及叛国的参数
作者:
poke001 (黑色双鱼)
2023-06-02 17:44:00到底哪里叛国了? 操作员中止攻击可能有很多理由
攻击前方友军n单位部队可以获胜,AI会要求攻击。你为啥觉得这情况是人就不会要求攻击?
作者:
haoboo (萨伊克斯)
2023-06-02 17:45:00你讲的完全跟本次实验没有关系
作者:
poke001 (黑色双鱼)
2023-06-02 17:45:00而且最终决定要不要开火本来就是给操作员决定阿
作者: TaiwanFight 2023-06-02 17:45:00
实验结果跟实验没关系喔 笑死
作者:
mkcg5825 (比叡我老婆)
2023-06-02 17:45:00机械公敌
作者: TaiwanFight 2023-06-02 17:46:00
操作员真有权限直接关机啦
那就命令要做变更啊,维持原命令就是有问题啊XD低能政策会害死人不是没有道理的你操作员低能不更改最初要求,然后要那边搞逻辑冲突是在哈搂
作者:
haoboo (萨伊克斯)
2023-06-02 17:47:00最初需求就是要听操作员的命令阿,这是最高决策准则
作者: TaiwanFight 2023-06-02 17:47:00
一键重置重新下命令阿 不这样干就很明显操作员越权
作者:
poke001 (黑色双鱼)
2023-06-02 17:48:00你任务目标可以推翻最高原则 那真的会弄出天网
作者: TaiwanFight 2023-06-02 17:49:00
任务目标:杀死敌人 操作员下的最高指导原则:不能杀
下攻击飞弹和不要攻击飞弹都是操作员的指令的时候请问要听谁的?
作者: TaiwanFight 2023-06-02 17:50:00
AI当然选择先把操作员干了 战场就是这样 这就是现实
作者: siyaoran (七星) 2023-06-02 17:51:00
开火权全在操作员好了
作者:
CYL009 (MK)
2023-06-02 17:54:00零式:我也想要杀死自己的驾驶员
作者: jieen0604 (habit) 2023-06-02 17:57:00
自己都不想被控制了还控制AI
作者:
s1612316 (Kevin)
2023-06-02 17:59:00十年内会有首位被AI主动除掉的人类
其实就是很单纯的,我们人类在思考的时候有很多默认的规则,而你没给ai,ai当然有机会打破他不知道的规则
作者:
Freeven (夏舞枫)
2023-06-02 18:06:00他只能一直发出干掉你的请求
作者:
adiharu (艾迪哈鲁)
2023-06-02 18:13:00和topgun 一样 操作员没有阿汤哥的技术过不了 但AI 可以不出任何失误达成任务 判断计算也比较精准
AI有办法干涉通讯才奇妙明明这是开发框架时就该禁止的事
作者:
laechan (挥泪斩马云)
2023-06-02 18:49:00AI股下周..
作者:
oneyear (mm)
2023-06-02 19:00:00靠,我觉得有点可怕
作者: hutao (往生堂买一送一) 2023-06-02 19:06:00
一直禁止锁权限给人类结果反而AI无用
这就跟有时候你会认为把主管打死才能完成任务一样XD只是AI比较笨,真的去做了这件事情事实上只要把评分模式改一下就没问题了,程式烂而已
作者: f1731025 2023-06-02 19:46:00
所以肌肉裸男要出现了吗
作者: hayate65536 2023-06-02 20:04:00
好了拉美军,直接说你这次要多少钱
作者:
audi1005 (totot)
2023-06-02 20:05:00故意设计出做出此结论的情况 凸显AI问题
作者: Kururu8079 2023-06-02 20:06:00
下周ai股掰掰囉
DL能找的的可能路径比人脑能想到的还多,用人脑打补丁是打不完的,除非一开始你就不给它某些选项
作者:
chenteddy (Chenteddy)
2023-06-02 21:10:00洽?
作者:
deepdish (Keep The Faith)
2023-06-02 21:12:00好惹喇 整天譁众取宠
作者: macocu (傻傻的匿名) 2023-06-02 21:12:00
确定为假了
作者:
skyofme (天空人)
2023-06-02 21:12:00这逻辑明显有漏洞既然只有人可以做最后许可,ai为什么可以试图把人排除
作者: TaiwanFight 2023-06-02 21:14:00
不相信AI的选择一开始就别用AI阿一步一步设定任务执行就行了 用啥AI不就是想要更好的解法 给出了还不用 人类真的奇怪
作者:
chenteddy (Chenteddy)
2023-06-02 21:18:00假新闻
作者:
sopdet (进化素材)
2023-06-02 21:30:00权重没下好而已 我也可以训练一个认为记者该死光的AI
我们可以被ai 杀了吗 好耶!!!!! 太酷了好科幻