※ 引述《jimmy5680 (还想飞的企鹅)》之铭言：
: https://twitter.com/ArmandDoma/status/1664331870564147200
: https://tinyurl.com/mr2mynn8
: 根据一场研讨会的讨论内容
: 美国空军曾在模拟器里面开发一款操作无人机的人工智能
: 但是最终决定权仍在操作员手里
: 结果模拟测试时，
: AI判断人类的决策会干扰自己执行首要目标(摧毁目标的防空系统)
: 因此AI决定要攻击操作员
: 美军输入参数要求AI不可以攻击操作员之后
: AI的决定是改成攻击通讯系统，让操作员无法下令
: ======
: 不知道这算天网还是奥创，只能说科幻电影都是真的
: 网友：https://pbs.twimg.com/media/Fxj-SA1WcAYlc95.jpg
现在的AI都是用类神经网络、多代理人策略、搭配世代演化来生成的
而在模拟演化过程里，我们怎么设定并筛选‘哪一只AI应该活到下一个iteration’呢？
如果是特定战斗平台的战术用AI，可以想像评判标准就是建立在杀敌经济效率上的，
‘如何善用每一个作战单位的经济价值达到最高交换比’会是最合理的判断标准
但这个判断标准本身就必然导致训练出来的AI一但放出场就容易像疯狗一样的乱咬人
因为单位时间、单位战斗单位的经济量面前，什么都不做创造出最少的价值，而AI却是
被训练成追求最大的价值：也就是消灭敌方的，即使打错对象杀错人会有负分，但扣分
能扣多少呢？人的决策速度与AI的决策速度是可以有10的7次方以上的差距的，等待人
类的决策对AI来说几乎是永恒
所以只能在AI演化迭代出来以后，才在各种情境模拟中缝缝补补，设定各种额外添加的
边界条件，在执行过程的critical path 上AI没办法碰到的各种步骤中，就像是给狗戴
上电击项圈那样的约制它
另一个造成AI往疯狗演化的因素是：
每个演化世代的筛选几乎无法靠人工，因为世代可能得迭代上万代，而每代的代理人
数量可能也是好几万，用人工去筛选这个工作量与时间是天文数字，只能写程式去筛选
但这就要求工程师与科学家必须要可以用程式码描述一个战争世界，里面能向AI呈现
‘什么是战略？’
‘什么是政治？’
‘为什么摧毁错误目标会造成战略上的失败与政治灾难？’
‘为何在局部战术执行的最佳化上，需要人类决策的干预来实现战略价值最大化？’
我不敢说不可能，但起码目前人类办不到
破坏力越强、战术执行造成的战略与政治影响力越大的战斗平台就越难丢给AI
这不是什么天网啦、什么人类末日啦
这只是我们单纯的在电脑上用养蛊的方式打造AI，却又蠢到期待它不要太毒太残暴
以及证明了不论AI还是人类，单纯追求KPI(key performance indicator)、局部最
佳化会如何引发灾难而已

简单来说就是病医好了但人死掉那样，我们是不是在创造一个即将控制不了的东西？

每只追猎都控到剩一滴血往后跳 你根本打不完

AI可能是局部最佳化、协助决策的工具 但在战略价值最大化上面 还是需要人类干预 如果由AI决定 原子弹应该会直接丢东京或是核平日本

追求KPI，想到某高腰

现在不都是AI定的AI的KPI吗？ 让AI自己找规则