[情报] 人类利用AI发掘的漏洞再度击败围棋AI

楼主: KAOKAOKAO (鬼斗)   2023-02-18 08:33:26
先前板上也有板友分享相关论文
最简单说 原理是训练另外一组AI模型对抗式的去找出顶尖模型(Katago/Leela)的漏洞
现在的进度则是 棋力达到业余顶尖的棋手有能力学习该模型的策略
反过来击败先前已经远远超过人类等级的模型 并且有稳定表现(KGS 14胜1负)
现在这个网站有棋谱可以线上阅览
https://goattack.far.ai/human-evaluation
摘要
1. 这个钻漏洞模型的对局下不赢寻常棋手(网页第一谱)
2. 钻漏洞策略精神之一:让AI包围自己,自己委屈两眼活
3. 钻漏洞策略精神之二:从外面偷偷包抄AI的包围网,会发现AI的反应有点异常
成功的话就能反包抄AI原先的超厚势
有趣的点
1. Leela 那一局,对抗者的114手在黑阵中挣扎,Leela 115 竟然是滑标级脱先?
感觉上是真的是一种漏洞...
2. Katago 那一局,对抗者86跳、88飞已经以客犯主。
AI 黑棋 97、101 连续照顾自己其他的疆界,结果上方对抗者的孤棋就这样异军突出,
完成了反包围。
这一谱布局时,对抗者的白棋在左边与下边的连续二线潜水很好笑,
另一篇报导中提到,这个反包围策略需要“在其他角落行棋使AI分心”,
所以应是为此的准备。
报导:https://www.ft.com/content/175e5314-a7f7-4741-a786-273219f433a1
3. 大家应该想问,为什么不对绝艺这样操作?我也很好奇。
4. 现在球又被丢回来AI研究者这边了,深度强化学习为什么会出现这样的盲点?
从围棋领域内来讲,看起来是对于自己的厚势产生了超过常理的自信?
虽然从棋的内容来看未必符合大家期望的弑神的快感,
但这也是刚起步的机器智慧与挣扎的人类智慧的碰撞吧,也是一局很大的棋。
作者: maplefoxs (狐狸怎么叫)   2023-02-18 10:16:00
这样下成功率有多高我很怀疑
作者: staristic (ANSI lover)   2023-02-18 10:27:00
这种漏洞目前各类AI多少都有,像是图片辨识的AI可以用噪声攻击,虽然人眼看不出来,但是AI就分不出了只能说,AI虽然很强了,但离真正大规模运用还有段路围棋AI无关人命,要是车用AI被攻击,后果不堪设想
作者: kafai (猪仔包 PigSonBow)   2023-02-18 10:35:00
简单说叫做偷吃,或者说要制造超长气的对杀
作者: driftingjong (长空浪子雁)   2023-02-18 16:28:00
故意过拟合 这很不容易简单来说是故意往算法不适用的特例去走
作者: ddavid (谎言接线生)   2023-02-18 21:27:00
Overfitting 是 training 的事情,应该说是刻意找出已经存在于 model 内的 overfitting 然后针对性地对抗当然也未必是 overfitting,单纯的就是模型本来就没有处理到也是可能其实深度学习会有这种盲点对研究者而言是可预见的,这个球应该算是本来就知道的球,不是现在才丢回来的XD
作者: BluffKing (中肯王)   2023-02-19 12:14:00
点进去看谱太爆笑,竟然允许填子自杀反正就是各种无下限攻击让AI精神错乱是吧?这几盘AI好像不会虚手?真怪难怪最后可以反让AI 九子
作者: ddavid (谎言接线生)   2023-02-19 22:52:00
overfitting:训练资料有涵盖到的部份,但模型太过尝试极端吻合每一笔测试资料,导致模型像是在背每个不同的答案而没有整合出共通规则但如果某些区域根本就没有成功整理出规则,或者模型本来就参数量不足以解释,根本没有收敛成功,就 underfitting 了就比如那堆奇怪的下法,AI 自战学习可能早早就觉得很烂,很快就不会在自战挑选相关下法了,结果反而在那堆奇怪下法里面找出复杂场面就可能突破,这没有看到训练时的数据就不太确定会是哪种情况毕竟围棋复杂度够高,特定区域 underfitting 肯定是会发生的,只是人类根本没那个能力自己想出又乱搞却又够复杂的棋来搅出问题,结果还是需要靠没有先入偏见的 AI 来挖问题只是因为这点就说 AI 围棋不神,我觉得反而过度反应,事实上还是 AI 才击败了 AI,不然 AlphaGo 都已经八、九年了,如果随便乱搞就能凹赢,怎么不见哪个人直接出来宣称自己研究出了击败 AI 的方法XD另外,这种漏洞有可能不同模型不一样,有可能绝艺就没这一个洞。这跟训练过程及模型容量都可能有关系。但终究这没有改变 AI 就是比人还神的事实,人类靠了 AI 才勉强找到的打败部份 AI 办法,人家真的有心要解决,加大一下模型容量可能就又搞定了XD只是搞定这些硬搞出来的赢法根本没有什么商业价值,现在AI 的主要定位本来就不是自己出来下棋而是辅助学习了,对人类完全无效的下法完全没有商业价值,只是证明了设计 AI本来就已经可以预想得到的事实而已
作者: peterfarm (心存感激)   2023-02-20 16:53:00
有bug就要处理,让围棋AI变完美吧!
作者: Blackout (ManhattanCafe)   2023-02-21 07:48:00
对绝艺也能用哦,可以看看大桥拓文的推特
作者: staristic (ANSI lover)   2023-02-21 08:53:00
有盲点很合理,毕境围棋的状态树用整个宇宙存都存不下区区一丁点大小的权重就想cover整个围棋数学上就不可能也许你会觉得用业余下法就能破解很不可能,但从数学上讲,就只是一条分枝而已
作者: sb710031 (@@)   2023-02-21 14:37:00
我觉得可能就是引导到像这篇的盘面https://tinyurl.com/2p992r8w
作者: TerminalD (尾文字D)   2023-02-21 15:19:00
觉得有点搞笑,原po大概没学过张量才会有这种强度三一律的误解
作者: mantour (朱子)   2023-02-21 21:20:00
要做出三个AI模型A稳定胜B,B稳定胜C,C稳定胜A并不难吧,胜负本来就没有递移律跟比速度的概念完全不同
作者: sunev (Veritas)   2023-02-21 23:59:00
人类棋手也有棋风相克的问题啊.....

Links booklink

Contact Us: admin [ a t ] ucptt.com