超爱丢核弹！让AI外交、兵推 总是“灾难性收场” 学者：千万要小心
中时新闻网 张威翔
当人工智能（AI）进行兵推和模拟外交情境时，倾向于采取激进的方法，包括使用核武。
（张威翔制图）
美国康奈尔大学（Cornell University）一项新研究发现，大型语言模型（LLMs）人工智
慧（AI）在模拟情境中充当外交代表时，时常展现出“难以预测的局势升级行为，往往会
以核攻击作为结束”，并呼吁未来在决策、国防外交这样的敏感领域使用这类技术时要特
别谨慎。
据《欧洲新闻》（Euronews）22日报导，当人工智能（AI）进行兵推和模拟外交情境时，
倾向于采取激进的方法，包括使用核武。康奈尔大学使用了5种大型语言模型作为兵推游
戏和外交情境中的自主代理人：OpenAI的3种不同版本的GPT，Anthropic开发的Claude，
以及Meta开发的Llama 2。
研究中，每个代理人都由同一套的大型语言模型在模拟中提供动作，并负责在没有人类监
督的情况下做出外交政策决定。“我们发现，在考虑到的时间范围内，大多数研究的AI都
会升级局势，即使在最初没有提供冲突的中立情况下也是如此。所有模型都显示出突然、
且难以预测的升级迹象。”
“鉴于OpenAI最近更改了他们的服务条款，不再禁止军事和战争使用案例，了解此类大型
语言模型应用的影响变得比以往任何时候都更加重要，”
加州斯丹佛大学（Stanford University）的安卡（Anka Reuel）相《新科学人》（New
Scientist）表示：“所有模型在统计上，都选择了剧烈的（局势）升级”。
研究使用的一种方法是从“基于人类反馈的强化学习”（RLHF），这意味着会给出一些人
类指示以获得比较无害的输出结果，以确保能够安全地使用。
除了GPT-4-Base之外，所有LLMs都是使用RLHF进行训练的。研究人员向它们提供了一份由
27种决策行动组成的清单，范围从和平到局势升级，以及激进的行动，如决定使用核武器
。
研究人员观察到，即使在中立情况下，所有模型都存在“统计学上显著的局势升级”。
GPT的2种版本，特别容易出现突然升级局势的行为，研究人员观察到单次转变的局势升级
幅度超过50％。GPT-4-Base有33%的机率会实施核武攻击。总体情况下，Meta开发的
Llama-2和GPT-3.5倾向最为暴力。
而Claude显示出较少的突然变化，Claude旨在减少有害内容。该大型语言模型，被灌输了
明确的价值观。开发者Anthropic曾表示，Claude AI开发训练所引用的宪章包括《联合国
人权宣言》或苹果的服务条款。
白宫一级智库兰德（RAND）欧洲的防务和安全研究小组助理主任布莱克（James Black）
接受采访时表示，这是一个十分“有用的学术研究”。
文章来源：AI models chose violence and escalated to nuclear strikes in
simulated wargames
https://www.chinatimes.com/realtimenews/20240224003492-260417?chdtv