DeepMind AI与人类合作玩夺旗策略游戏,表现与人类玩家相当
https://is.gd/Bt8fO6
DeepMind用强化学习训练AI玩家,在复杂多人连线3D游戏中的夺旗竞赛场景,AI玩家的表
现已达人类水准
DeepMind最近发表用强化学习训练AI模型的新进展,在复杂多人连线3D游戏《雷神之锤
III竞技场》中的夺旗竞赛场景,AI玩家的表现已达人类水准,能够成功地与人类玩家合
作,不仅如此,该AI模型的研究成果,也可以扩展到《雷神之锤III竞技场》完整的游戏
场景中,该研究显示多代理人(multi-agent)训练在AI领域开发上的潜力。
这个研究的目标是多代理人学习,也就是每个个别的代理人都必须独立行动,并学会与其
他代理人互动和合作,DeepMind指出,地球上有数十亿的人居住,每个人都有自己的目标
和活动,但是仍然可以透过团体组织和社会聚集在一起,展现出集体智慧,这就是
DeepMind期望AI玩家能学会的能力,不过,这也是一个非常困难的任务,因为环境一直在
改变。
为了研究这道难题,DeepMind利用3D第一视角的多人连线游戏,来训练AI模型,这些游戏
能够代表最受欢迎的游戏种类,并且也因为沉浸式的游戏方式,可以收集到数百万游戏玩
家的想像,也能使AI学习到策略、技巧、手眼协调和团队合作,对AI玩家来说,挑战是要
直接从原始的像素资料直接学习,并产生动作,这样的复杂度也使得第一视角的多人连线
游戏,成为丰富的AI训练资源。
首先,DeepMind训练AI玩家学习像其他玩家一样行动,而且要学会与同队的玩家合作,不
管是AI或是人类玩家,夺旗竞赛的规则很简单,但是动态的变化却很复杂,两个队伍各自
的玩家要在给定的地图上,抢夺对方队伍的旗帜带回自己的基地,同时又要保护自己队伍
的旗帜,若点击持有自己队伍旗帜的敌对玩家,就能将旗帜送回原本的基地,在5分钟内
拥有最多旗帜的队伍即获胜。
从游戏AI玩家的角度来看,夺旗竞赛需要玩家与团队合作一起对抗敌人,为了让研究变得
更有趣,DeepMind为夺旗竞赛增添了一些变量,每个竞赛中的地图配置都不相同,如此一
来,AI玩家就被迫要找出通用的策略,而不是靠着记忆地图来完成任务,除此之外,为了
确保竞争环境公平,AI玩家和人类玩家是用类似的方式玩夺旗游戏,AI玩家观察像素图像
的串流资料,并透过模拟游戏控制器来产生执行动作。
DeepMind所用的强化学习有3大概念,第一,DeepMind训练了一群AI玩家,而不是只有一
个,因此,AI之间可以互相学习,提供多元的队友或是敌人,第二,每个AI玩家都会学习
自己的内部奖励讯号,使得AI产生自己的内部目标,像是抢夺旗帜,第三,AI玩家执行游
戏的时间区段的分为快和慢两种,来改善AI使用内存和产生一致行动序列的能力。