DeepMind发表SIMA 2代理，结合Gemini变身会解任务又会练功的游戏AI伙伴
https://www.ithome.com.tw/news/172261
Google DeepMind公布新一代游戏人工智能代理SIMA 2，延续先前SIMA计画看着萤幕、操
作虚拟键盘与鼠标来学习游戏的方式，这次Google把Gemini模型嵌入代理核心，让人工智
慧不只是听指令，还能在3D游戏世界里推理目标、解释自己的行动，并透过自我练习持续
变强。
SIMA专案最初目标是打造能在多款3D虚拟世界通用的代理，第一代SIMA已能在多款商业游
戏中学会超过600种语言操作技能，例如转向、爬梯子、开地图，完全不读游戏内部API，
只依赖画面与虚拟键盘鼠标输入行动。
SIMA 2在这个基础上换上Gemini作为推理引擎，代理不仅接受导航至特定位置这类指令，
还会先解析使用者高阶目标，再自行拆成子步骤，边行动边用自然语言向玩家说明接下来
的行动与原因。研究团队结合附有语言标注的人类示范影片，以及Gemini生成的标注资料
进行训练，让代理从人类与模型两种来源学会在游戏中行动与解说。
Gemini的导入也明显拉高了SIMA 2在陌生游戏中的泛化能力，DeepMind表示，新版代理更
能理解长且复杂、语气较模糊的指令。同时DeepMind强调，代理会把在某款游戏中学到的
概念转化应用到另一款游戏，例如把挖矿的概念对应到另一款游戏中的采集，在广泛任务
上的表现更接近人类玩家。
研究团队将SIMA 2与自家世界模型Genie 3结合。Genie 3可以从一张图片或一段文字即时
生成新的3D互动世界，场景、物件与规则与现有游戏完全不同。在这些先前从未出现过的
世界里，SIMA 2仍能快速辨识自己所在的位置与可互动的物件，理解使用者给出的目标，
并采取朝目标前进的合理行动。研究团队认为，这显示代理不再只是在固定关卡里背题，
而是开始具备在全新环境里适应与规划的能力。
SIMA 2的一大亮点是自我最佳化能力，DeepMind描述，在起始阶段代理仍然依靠人类示范
学习，但之后可以切换到完全由自己玩游戏的阶段，透过尝试错误累积经验。Gemini在这
里扮演教练角色，负责提出任务，替代理的行为估算奖励分数，而这些任务与回馈会被存
入经验数据库，作为下一轮训练更强版本代理的素材。实验显示，在ASKA与Genie 3生成
世界中，初版SIMA 2原本完成不了的任务，经过几代自我练功之后，代理可以在没有新增
人类游玩资料的情况下完成原先失败的挑战。
官方把这个研究视为朝向通用人工智能与未来具身人工智能机器人的重要一步。 SIMA 2
目前以限量研究预览方式，优先开放给少数学界与游戏开发者试用，希望先累积更多回馈
与风险评估，再决定后续更大规模应用的方向。
===
以后不用看人实况了,自己叫AI破,尤其是练功那块,还有魂类跟恐怖类游戏,
再也不用怕手残跟找不到伴

我都让实况主帮我打游戏了

这就挂机程式啊

然后你负责去工作买电脑给AI玩吗?

这方面中国是专家

这不就代打w

请问能帮我FGO刷箱吗？

干脆再加上语音变成AI 实况主 Neurosama

什么时候可以帮我赚钱

自动解steam成就之日不远矣

可以打古战场吗

不...等等 这还用研究？现在游戏里面一堆机器人自动解成就还没达成吗？不可能吧？每个玩家小号都20~30个在那边刷 真的天天从头刷到尾吗?

他限制跟人类一样呀 只能从萤幕键盘鼠标 不能串软件

现在脚本都要另外开发吧 这个研发好了 理想上就跟人一样看任务叙述就知道怎么解 怎么操作

连点程式、智慧手把

QC大军

可以代肝原神吗

今天已经两篇AI玩游戏了，上篇原神的paper都还没看完，第三篇来吧

moonlind你没搞懂啊...这东西的目的不是取代脚本是训练AI在一个足够复杂的环境下学会自己解决问题的能力

我懂 但标题就是这个意思 如果只是帮你打游戏 这不困难标题:AI帮你打游戏 哦~帮我打游戏还用得着AI吗？我就是这个意思

如果我死太多次应该不会笑我吧

你跟新闻的标题过不去干嘛(不会吧 现在的LLM都码全肯定机器人w

死妈ai

那…我要干嘛？

疑? 之前不是跑去算蛋白质, 又开始玩新东西了?