[新闻] 谷歌通用AI智能体发布，3D游戏玩法要变天
楼主: jackliao1990 (jack) 2024-03-15 21:02:48
谷歌通用AI智能体发布，3D游戏玩法要变天了
https://www.qbitai.com/2024/03/127840.html
10秒内完成简单任务
西风发自凹非寺
谷歌DeepMind号称打造出了首个能在广泛3D虚拟环境和电玩游戏中遵循自然语言指令的
通用AI智能体 。
名为 SIMA ，不是NPC，是可以成为玩家拍档，帮忙工作打杂的那种。
例如，在《模拟山羊3》（Goat Simulator 3）当驾驶开开车：
https://tinyurl.com/mtt9efxd
在《幸福工厂》（Satisfactory）挖矿石：
https://tinyurl.com/37anxy7s
在《瓦尔海姆》（Valheim）中寻找水源：
https://tinyurl.com/3fpn9x7n
在《无人深空》（No Man's Sky）驾驶太空船射击小行星收集资源：
https://tinyurl.com/5dyb4nvr
https://tinyurl.com/sc67sxhz
SIMA全名为Scalable Instructable Multiworld Agent，顾名思义可扩展、可指导、多世
界。
之前，GoogleDeepMind在AI+游戏方面也做过许多工作，像是推出能和人类玩家打PK、会
玩《星海争霸II》的AlphaStar系统。
而SIMA被DeepMind称作是一个“新的里程碑”，主打从适用单一游戏转向通用多种游戏，
且可遵循语言指令。
SIMA一公开，网友们也是讨论热烈。
让它们替我完成无聊繁琐的任务，这样我就可以直接做有趣的部分，而不必花几个小
时培育chocobos获取随机召唤。
嗯…《最终幻想》（Final Fantasy）玩家无疑了。
专业《模拟山羊》玩家在此刻也懵了
最近这一连串的AI进展也是整的网友们措不及防，直呼“慢一点”
10秒内完成的简单任务
接下来再来看一波SIMA的表现。
为了让SIMA接触到更多游戏环境，开发团队表示目前已与八家游戏工作室合作，在九款不
同的电玩游戏上训练和测试了SIMA。
目前的SIMA已在600个基本技能上进行了评估。
基本操作、互动、使用选单都会：
https://tinyurl.com/5ezm7r2h
简单的任务，10秒内可完成。
各种场景都能适应：
https://tinyurl.com/atbpkshj
除此之外，GoogleDeepMind还发布了一份技术报告，一起来看看里面都有啥。
未见过的游戏也会玩
SIMA的整体架构是将预先训练视觉模型与自监督学习的Transformer结合。
从使用者接收语言指令，并从环境中获取图像观察结果，然后将它们映射为键盘和鼠标动
作。
具体架构如下图：
https://tinyurl.com/uk6aap99
开发人员收集了一个既包括精选研究环境又包括商业电玩游戏的大型多样化游戏资料集。
此外，他们还用Unity创造的新环境，名为“the Construction Lab”。 在这个环境中，
智能体需要使用积木来建构雕塑，这考验了它们对物体的操纵能力和对物理世界的理解。
资料收集包含多种方法，例如让不同成对的人类玩家的互动，其中一名玩家观察并指导另
一名玩家，以此来捕获语言指令；让玩家自由玩游戏，观察他们的操作，并记录下一个可
能导致其游戏行为的指令。
透过在不同的游戏世界中学习，SIMA能够将语言与游戏行为结合。
不需要存取游戏原始码，也不需要自订API，仅需要两个输入：萤幕上的图像和用户提供
的简单的自然语言指令。
然后SIMA就会使用键盘和鼠标输出来控制游戏角色以执行这些指令，这项操作与人类类似
，也意味着SIMA有潜力与任何虚拟环境互动。
在评估测试中，研究人员表示SIMA在九个3D游戏集上接受训练，表现显著优于仅在单个游
戏上单独训练的智能体。
而且SIMA在未训练过的游戏中的表现和专门使用该游戏资料集训练过的智能体表现一样好
。
也就是说，SIMA在全新环境中具备泛化能力。
此外测试结果也显示，SIMA的效能依赖语言。 在一个控制测试中，智能体没有接受任何
语言训练或指令，它就会出现无目的的操作，不遵循指令。
而且，跟人类玩家比较，SIMA水平还是差一点。
更多细节，有兴趣的家人们可以查看技术报告。
参考连结：
[1]https://deepmind.google/discover/blog/sima-generalist-ai-agent-for-3d-virtual-environments/
[2]https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/sima-generalist-ai-agent-for-3d-virtual-environments/Scaling%20Instructable%20Agents%20Across%20Many%20Simulated
%20Worlds.pdf
https://www.qbitai.com/2024/03/127840.html
10秒内完成简单任务
西风发自凹非寺
谷歌DeepMind号称打造出了首个能在广泛3D虚拟环境和电玩游戏中遵循自然语言指令的
通用AI智能体 。
名为 SIMA ，不是NPC，是可以成为玩家拍档，帮忙工作打杂的那种。
例如，在《模拟山羊3》（Goat Simulator 3）当驾驶开开车：
https://tinyurl.com/mtt9efxd
在《幸福工厂》（Satisfactory）挖矿石：
https://tinyurl.com/37anxy7s
在《瓦尔海姆》（Valheim）中寻找水源：
https://tinyurl.com/3fpn9x7n
在《无人深空》（No Man's Sky）驾驶太空船射击小行星收集资源：
https://tinyurl.com/5dyb4nvr
https://tinyurl.com/sc67sxhz
SIMA全名为Scalable Instructable Multiworld Agent，顾名思义可扩展、可指导、多世
界。
之前，GoogleDeepMind在AI+游戏方面也做过许多工作，像是推出能和人类玩家打PK、会
玩《星海争霸II》的AlphaStar系统。
而SIMA被DeepMind称作是一个“新的里程碑”，主打从适用单一游戏转向通用多种游戏，
且可遵循语言指令。
SIMA一公开，网友们也是讨论热烈。
让它们替我完成无聊繁琐的任务，这样我就可以直接做有趣的部分，而不必花几个小
时培育chocobos获取随机召唤。
嗯…《最终幻想》（Final Fantasy）玩家无疑了。
专业《模拟山羊》玩家在此刻也懵了
最近这一连串的AI进展也是整的网友们措不及防，直呼“慢一点”
10秒内完成的简单任务
接下来再来看一波SIMA的表现。
为了让SIMA接触到更多游戏环境，开发团队表示目前已与八家游戏工作室合作，在九款不
同的电玩游戏上训练和测试了SIMA。
目前的SIMA已在600个基本技能上进行了评估。
基本操作、互动、使用选单都会：
https://tinyurl.com/5ezm7r2h
简单的任务，10秒内可完成。
各种场景都能适应：
https://tinyurl.com/atbpkshj
除此之外，GoogleDeepMind还发布了一份技术报告，一起来看看里面都有啥。
未见过的游戏也会玩
SIMA的整体架构是将预先训练视觉模型与自监督学习的Transformer结合。
从使用者接收语言指令，并从环境中获取图像观察结果，然后将它们映射为键盘和鼠标动
作。
具体架构如下图：
https://tinyurl.com/uk6aap99
开发人员收集了一个既包括精选研究环境又包括商业电玩游戏的大型多样化游戏资料集。
此外，他们还用Unity创造的新环境，名为“the Construction Lab”。 在这个环境中，
智能体需要使用积木来建构雕塑，这考验了它们对物体的操纵能力和对物理世界的理解。
资料收集包含多种方法，例如让不同成对的人类玩家的互动，其中一名玩家观察并指导另
一名玩家，以此来捕获语言指令；让玩家自由玩游戏，观察他们的操作，并记录下一个可
能导致其游戏行为的指令。
透过在不同的游戏世界中学习，SIMA能够将语言与游戏行为结合。
不需要存取游戏原始码，也不需要自订API，仅需要两个输入：萤幕上的图像和用户提供
的简单的自然语言指令。
然后SIMA就会使用键盘和鼠标输出来控制游戏角色以执行这些指令，这项操作与人类类似
，也意味着SIMA有潜力与任何虚拟环境互动。
在评估测试中，研究人员表示SIMA在九个3D游戏集上接受训练，表现显著优于仅在单个游
戏上单独训练的智能体。
而且SIMA在未训练过的游戏中的表现和专门使用该游戏资料集训练过的智能体表现一样好
。
也就是说，SIMA在全新环境中具备泛化能力。
此外测试结果也显示，SIMA的效能依赖语言。 在一个控制测试中，智能体没有接受任何
语言训练或指令，它就会出现无目的的操作，不遵循指令。
而且，跟人类玩家比较，SIMA水平还是差一点。
更多细节，有兴趣的家人们可以查看技术报告。
参考连结：
[1]https://deepmind.google/discover/blog/sima-generalist-ai-agent-for-3d-virtual-environments/
[2]https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/sima-generalist-ai-agent-for-3d-virtual-environments/Scaling%20Instructable%20Agents%20Across%20Many%20Simulated
%20Worlds.pdf
作者: asdf1944 (Arisk1944) 2024-03-15 21:06:00
嘿SIMA，帮我跑舰娘远征
作者: barrychengg (stardust) 2024-03-15 21:08:00
能打总力战吗 ?
作者: infoman (路哲) 2024-03-15 21:08:00
如果只是要自动完成任务的话 开发商可以做到 不用AI
作者: Ariadust (Ariadust) 2024-03-15 21:08:00
叫AI玩舰娘，你在制造天网吗
作者: grayclaus (死んじゃえ) 2024-03-15 21:08:00
下个月古战场来得及吗
作者: rhox (天生反骨) 2024-03-15 21:09:00
以后玩游戏要订阅AI朋友服务
作者: snowpoint (暱称) 2024-03-15 21:09:00
https://www.ithome.com.tw/news/161777有正体中文的新闻，硬是要发简新闻...而且一堆不明所以的文字──"感兴趣的家人们可以查看技术报告"??
作者: kimokimocom (A creative way) 2024-03-15 21:21:00
每次AI怎么都吹得上天一样 玩家都蒙了 XD
作者: orze04 (orz) 2024-03-15 21:24:00
不就bot
作者: willytp97121 (rainwalker) 2024-03-15 22:31:00
帮农古战场
