首页 > 业界 > 关键词  > 深度学习最新资讯  > 正文

一种新的机器学习模型可以以人类的方式理解场景中的互动关系

2021-11-29 19:11 · 稿源: cnbeta

当人类看一个场景时,他们看到的是物体和它们之间的关系。在桌子上面,可能有一台笔记本电脑,人坐在手机的左边,而手机在电脑显示器的前面。许多深度学习模型在以这种方式看世界时很吃力,因为它们不了解单个物体之间的纠缠关系。如果不了解这些关系,一个旨在帮助厨房里的帮厨机器人将很难遵循"拿起炉子左边的铲子,把它放在砧板上"这样的命令。

为了解决这个问题,麻省理工学院的研究人员开发了一个模型,可以理解场景中物体之间的基本关系。他们的模型每次都代表单个关系,然后结合这些代表来描述整个场景。这使得该模型能够从文本描述中生成更准确的图像,即使场景中包括几个以不同关系排列的物体。

这项工作可以应用于工业机器人必须执行复杂的、多步骤的操纵任务的情况,如在仓库中堆放物品或组装电器。它还使该领域向着使机器能够像人类一样从环境中学习并与环境互动的方向迈进了一步。

AI-That-Understands-Object-Relationships.jpg

研究人员开发的框架可以根据对物体及其关系的文字描述生成一个场景的图像,在这个图中,研究人员的最终图像在右边,并正确地遵循了文字描述。

"当我看着一张桌子时,我不能说在XYZ位置有一个物体。我们的头脑不是这样工作的。在我们的头脑中,当我们理解一个场景时,我们真正理解它是基于物体之间的关系。我们认为,通过建立一个能够理解物体之间关系的系统,我们可以利用该系统更有效地操纵和改变我们的环境,"计算机科学和人工智能实验室(CSAIL)的博士生、该论文的共同主要作者杜一伦(音译)说。

杜一伦与共同第一作者、CSAIL博士生李爽(音译)和伊利诺伊大学香槟分校研究生刘楠(音译),以及脑与认知科学系认知科学与计算专业保罗-E-牛顿职业发展教授、CSAIL成员Joshua B. Tenenbaum,以及资深作者、电气工程与计算机科学专业德尔塔电子教授、CSAIL成员Antonio Torralba共同撰写了该论文。这项研究将在12月举行的神经信息处理系统会议上发表。

Artificial-Intelligence-That-Understands-Object-Relationships.jpg

他们的系统会将这些句子分解成两个较小的片段,描述每个单独的关系("一张木桌在蓝色凳子的左边"和"一张红色沙发在蓝色凳子的右边"),然后对每个部分单独建模。然后通过一个优化过程将这些部分结合起来,生成一个场景的图像。

研究人员使用了一种叫做基于能量的模型的机器学习技术来表示场景描述中的各个物体关系。这种技术使他们能够使用一个基于能量的模型对每个关系描述进行编码,然后以一种推断所有物体和关系的方式将它们组合起来。

李解释说,通过将每个关系的句子分解成更短的片段,系统可以以各种方式重新组合它们,因此它能够更好地适应它以前没有见过的场景描述。

"其他系统会从整体上考虑所有的关系,并从描述中一次性生成图像。然而,当我们有分布之外的描述时,比如有更多关系的描述时,这样的方法就会失败,因为这些模型不能真正适应一次就能生成包含更多关系的图像。然而,由于我们将这些单独的、较小的模型组合在一起,我们可以对更多的关系进行建模,并适应新颖的组合,"杜说。

该系统还可以反向工作--给定一张图像,它可以找到与场景中物体之间关系相匹配的文本描述。此外,他们的模型可以用来编辑图像,重新安排场景中的物体,使它们与新的描述相匹配。

理解复杂场景

研究人员将他们的模型与其他深度学习方法进行了比较,这些方法得到了文本描述,并负责生成显示相应物体及其关系的图像。在每一种情况下,他们的模型都优于基线。

他们还要求人类评估所生成的图像是否与原始场景描述相符。在最复杂的例子中,描述包含三种关系,91%的参与者认为新模型的表现更好。

"我们发现的一个有趣的事情是,对于我们的模型,我们可以把句子从有一个关系描述增加到有两个,或三个,甚至四个描述,而且我们的方法继续能够生成被这些描述正确描述的图像,而其他方法则失败了,"杜说。

研究人员还向模型展示了它以前没有见过的场景图像,以及每张图像的几种不同的文字描述,它能够成功地识别出最符合图像中物体关系的描述。

当研究人员给系统提供两个描述同一图像但方式不同的关系型场景描述时,该模型能够理解这些描述是等同的。

研究人员对他们的模型的鲁棒性印象深刻,特别是在处理它以前没有遇到过的描述时。

"这是非常有希望的,因为这更接近于人类的工作方式。人类可能只看到几个例子,但我们可以从这几个例子中提取有用的信息,并把它们结合起来,创造出无限的组合。而我们的模型有这样一个特性,使它能够从较少的数据中学习,但却能概括到更复杂的场景或图像代。"李说。

虽然这些早期结果令人鼓舞,但研究人员希望看到他们的模型在真实世界的图像上表现如何,这些图像更加复杂,有嘈杂的背景和相互遮挡的物体。

他们还有兴趣最终将他们的模型纳入机器人系统,使机器人能够从视频中推断出物体关系,然后应用这些知识来操纵世界上的物体。

捷克技术大学捷克信息学、机器人学和控制论研究所的杰出研究员Josef Sivic说:"开发能够处理我们周围世界的组成性质的视觉表征是计算机视觉中的一个关键性的开放问题。这篇论文在这个问题上取得了重大进展,它提出了一个基于能量的模型,明确地对图像中描绘的物体之间的多种关系进行建模。这些结果确实令人印象深刻,他没有参与这项研究。"

  • 相关推荐
  • 大家在看
  • 腾讯云服务器12.12限时秒杀-1核2G首年50元

    腾讯云服务器12.12多种机型限时抢购,1核2G服务器4.17元/月,2核4G服务器6.17元/月,专业技术7*24小时在线服务,腾讯云为企业和个人提供快捷,安全,稳定的云服务!

    广告
  • 纸质书,换一种方式成长

    2021年即将结束,网红书店言几又可能也要迎来结束了。近日多家媒体报道称,言几又在北京、广州、深圳等城市大规模关闭店面,经营状况堪忧。这家网红书店的窘境,是过去两年国内连锁书店行业萎靡不振的缩影。

  • 马斯克谈特斯拉机器人:不止重复性任务 或能成人类朋友

    在接受机器人科学家莱克斯弗雷德曼(Lex Fridman)采访时,埃隆马斯克(Elon Musk)表示,特斯拉机器人不会仅仅是一款能完成重复性任务的人形机器人,它可能发展自己的独特个性,成为人类伙伴。他说,特斯拉机器人可能成为像C3PO(《星球大战》中的礼仪机器人)那样的人类伙伴。

  • Serve Robotics的新型自主人行道送货机器人将无需人类协助

    这意味着在某些操作设计领域或有地理围栏的区域,Serve Robotics公司不会依靠远程操作人员来远程协助机器人,也不会依靠跟随者跟在机器人后面来保证安全...Serve公司于12月开始推出其下一代机器人,并表示它最近完成了第一笔Level 4自主送货机器人的交付,SAE将其定义为只要满足某些条件就能自主运行的系统,将不需要人类接管...实时产生这些能力所需的计算由芯片制造商NVIDIA的Jetson平台提供,该平台是专门为机器人和其他自主机器人设计的......

  • 只能搞好,不能搞坏——“Z世代”眼中的中美关系

    北京时间 12 月 30 日 8 时,由中国日报社 21 世纪报精心策划、强力打造的全球“Z世代”新媒体节目《少年会客厅》迎来第七期直播。作为 2021 年度收官之作,本期节目由街头采访、嘉宾观察、个人演讲三个环节组成,共邀请 6 位中美“Z世代”以观察室的形式,畅聊民主、文化、中美关系等议题,旨在发起两国“Z世代”青少年间的对话,交流思想、促进了解,让中美青少年的互联互信,为未来中美关系健康稳定发展保驾护航。中美“Z世代”

  • 人类终于能够测试霍金关于暗物质起源的理论

    在20世纪70年代,霍金提出,暗物质,即构成宇宙中大多数物质的无形物质,可能是由大爆炸最早时刻形成的黑洞构成。现在,三位天文学家提出了一个理论,不仅解释了暗物质的存在,而且还解释了宇宙中最大黑洞的出现。这份研究报告的共同作者、耶鲁大学的天体物理学家普里亚姆瓦达-纳塔拉詹(Priyamvada Natarajan)在一份声明中说:"我个人认为这个想法超级令人兴奋的是,它优雅地将我所从事的两个真正具有挑战性的问题,即探测暗物质

  • 辛选集团联合创始人初瑞雪:换一种方式,与梦想相遇

    对每个人来说,梦想都是一件美好的事情。虽然逐梦的路上荆棘遍布、困难重重,但最终的成果是美好而令人憧憬的。正如辛选集团联合创始人初瑞雪雪大的追梦之旅,一路坎坷崎岖,但结果却十分圆满。谈及初瑞雪的逐梦之旅,还要从她的大学时期说起。初瑞雪是一个热爱音乐的女孩,所以她的大学专业,修习的也是音乐。因为先天的声音条件较好,且学习努力,初瑞雪的演唱实力日渐精进,受到了老师、同学们的一致认可。如果命运没有和初瑞雪

  • 报告称人类在预测天气方面仍明显优于人工智能

    人工智能几乎存在于我们日常生活的每个方面...虽然人工智能模型在GOES-16和17等气象卫星的帮助下,能够以惊人的准确性预测微小的天气变化和模式,但当重大的气候破坏发生时,其效率会急剧下降...该媒体声称,根据超过20年的天气预测信息,人类的表现超过了两个最受欢迎的国家天气预测模型;全球预测系统和北美中尺度预测系统...虽然人工智能技术越来越成熟,但它们仍然缺乏人类一直拥有的东西:在更广泛的背景下评估情况的能力...

  • 人类一败涂地》新皮肤,迅游助力玩家组队众乐乐

    《人类一败涂地》更新上线了 10 款新皮肤,这些由鬼才大佬们设计而出的新装能让你轻松变身新形象,加入这场梦境大冒险。这些皮肤都是历经投稿到挑选,再到玩家投票,最终甄选出了获得优胜的精美皮肤设计。我们一起来看看吧~这一次上线的十款皮肤,分别是“占星师”、“裁缝”、“小丑”、“法官”、“摇滚巨星”、“医生”、“空乘”、“画家”、“教授”、“摔跤手”,汇集众多设计鬼才的智慧,加上更多人类玩家的出色审美,让它?

  • 《超级人类》玩法/职业/配置/画面介绍,免费加速器推荐!

    由韩国网游公司Wonder Games打造的超能力大逃杀游戏《超级人类》在 12 月 6 日开启全球封闭测试,免费测试资格火热进行中!作为一款大逃杀游戏,《超级人类》在基本玩法上依旧延续了传统的吃鸡模式,但却又不完全相同。本作最核心的亮点在于角色能力的引入,给游戏创造了更大的乐趣和变化。游戏中目前提供 12 位形象迥异的人类角色,每位角色对应一种职业。而不同的职业有着独特的专属枪械、角色能力以及恐怖的终极技能,就是我们俗

  • 为揭示衰老秘密 SpaceX将向太空发射人类肌肉细胞

    科学家称,美国太空探索技术公司(SpaceX)周二将把人类肌肉细胞发射到太空。这属于一项研究的一部分,旨在进一步了解衰老的影响。这项由英国利物浦大学研究人员领导的“微年龄”研究,将由SpaceX的“猎鹰9号”火箭从佛罗里达州的肯尼迪航天中心发射到国际空间站。宇航员的肌肉在太空中会变弱,这是因为太空中没有重力,因此不需要使用额外的组织。研究人员希望对比太空和地球上肌肉组织的变化,以帮助确定为什么人类肌肉会随着年龄?

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天