谷歌 DeepMind 最近发布了 SIMA2，旨在测试通用智能体在复杂3D 游戏世界中的表现。SIMA2（可扩展可指令多世界智能体）在原有基础上进行升级，采用了 Gemini 模型，能够更好地理解目标、解释计划并通过自我学习在不同环境中不断进步。
SIMA2的前身 SIMA1于2024年问世，当时它通过渲染图像和虚拟键盘鼠标进行控制，学习了600多项语言指令，任务完成率约为31%，而人类玩家的完成率则高达71%。而 SIMA2在保留相同的界面基础上，使用 Gemini2.5Flash Lite 作为核心推理引擎。这使得 SIMA2不仅仅是指令执行者，更成为了与玩家互动的游戏伙伴。
SIMA2的架构将 Gemini 整合为核心部分，通过接收视觉观察和用户指令，推导出高层目标并产生相应的操作。这种新的训练模式使得智能体能够解释自己的意图，回答有关当前目标的问题，并展示其对环境的推理过程。在 DeepMind 的评估中，SIMA2的任务完成率提升至62%，几乎达到了人类玩家的水平。
SIMA2还扩展了指令渠道，不仅能够理解文本指令，还能处理语音、图形甚至表情符号。在一项演示中，用户要求 SIMA2找到 “像熟透的番茄一样颜色的房子”，它能够推理出 “熟透的番茄是红色的”，并顺利找到目标。
自我改进也是 SIMA2的一大亮点。在初期阶段使用人类的游戏演示后，智能体进入新游戏，完全依靠自己的经验进行学习。Gemini 模型为智能体生成新任务并评分，这使得后续版本在许多之前失败的任务上也能成功，而无需额外的人类演示。
最后，DeepMind 结合 SIMA2与 Genie3，通过单一图像或文本提示生成互动3D 环境，展示了智能体在全新环境中如何识别物体并完成指定任务。这标志着一个通用智能体向更高级的现实世界机器人发展的重要一步。
官方博客:https://deepmind.google/blog/sima-2-an-agent-that-plays-reasons-and-learns-with-you-in-virtual-3d-worlds/
划重点:
🌟 SIMA2整合了 Gemini2.5Flash Lite 模型，使智能体具备更高的推理和计划能力。
📈 SIMA2的任务完成率提升至62%，接近人类玩家的水平，展示出显著的性能改进。
🛠️ 通过自我改进机制和 Genie3环境生成，SIMA2展现了在全新场景中的适应能力和通用性。