站长之家（ChinaZ.com）8月8日 消息:加州大学伯克利分校研究人员推出了一种名为 Dynalang 的智能体，这是一种通过在线体验获取世界语言和视觉模型的智能体，并利用该模型来理解人类行为。
由于世界建模与动作不同，Dynalang 可以在单一模式（纯文本或纯视频数据）上进行预训练，而无需活动或任务奖励。此外，语言生成的框架可能是统一的:代理的感知可以影响其语言模型(即，其对未来标记的预测)，从而允许其通过在动作空间中生成语言来交流环境。他们在具有不同语言环境的广泛领域中测试 Dynalang。Dynalang 学习利用有关未来观察、环境动态和纠正的语言线索，以便在多任务房屋清洁环境中更快地完成家务。
论文地址：https://arxiv.org/abs/2308.01399
Dynalang 通过使用未来预测来将语言与视觉体验相连接，能够理解各种形式的语言以完成不同的任务。它在多任务的家庭清洁环境中学会使用语言提示来更快地完成任务，并且在 Messenger 基准测试中表现优于其他算法。Dynalang 还可以在视觉语言导航中接收复杂的指令，并展示了超越其他算法和任务特定架构的能力。
（举报）
