首页 > 业界 > 关键词  > Meta最新资讯  > 正文

Meta AI推出语义数据增强框架GenAug 可将机器人训练效率提高40%

2023-02-20 14:54 · 稿源:站长之家

站长之家(ChinaZ.com)2月20日 消息:机器人学习技术能够概括广泛的任务、设置和对象。不幸的是,这些策略需要广泛、多样化的数据集,而在实际的机器人环境中获取这些数据集既困难又昂贵。机器人学习的普遍性需要访问机器人直接环境之外的先验或数据。

数据扩充是增强模型泛化能力的有用工具。但大多数方法在低级视觉空间中运行,以颜色抖动、高斯模糊和裁剪等方式改变数据。然而,它们仍然无法处理图片中显着的语义差异,例如分散注意力的元素、不同的背景或不同对象的外观。

QQ截图20230220144241.jpg

GenAug 是由华盛顿大学和 Meta AI 开发的语义数据增强框架,它使用预训练的文本到图像生成模型来促进实际机器人中基于模仿的学习。与机器人数据相比,预训练的生成模型可以访问更大、更多样化的数据集。这项研究使用这些生成模型来补充数据,以训练现实世界中的实际机器人。这项研究基于这样一种直觉信念,即尽管场景、背景和项目外观存在差异,但在一个环境中完成任务的方法通常应该可以转移到不同情况下的相同任务。

生成模型可以生成截然不同的视觉情况,具有不同的背景和项目外观,在这些情况下,相同的行为仍然有效。同时,有限的机器人体验提供了所需行为的演示。此外,这些生成模型是根据真实数据训练的,因此生成的场景看起来逼真且多变。通过这样做,可以从有限数量的演示中轻松且经济地生成大量语义,从而使学习代理可以访问比仅在机器人上演示数据更多样化的设置。

GenAug 可以为全新的真实环境生成“增强的”RGBD 图像,展示机器人在现实世界中可能体验到的场景的视觉真实性和复杂性,给定真实机器人系统上提供的图像动作示例数据集。具体来说,对于在桌面上执行操作任务的机器人,GenAug 结合使用语言提示和生成模型来改变项目的纹理和形状,并添加新的分散注意力的元素和与原始场景在物理上保持一致的背景场景。

Meta 的研究论文表明,GenAug 可用于从单一、简单的环境创建10个真实世界的复杂演示。根据研究结果,与传统方法相比,GenAug 可以将机器人训练提高40%,让机器人可以在从未见过的地方和物品上进行训练。

QQ截图20230220144252.jpg

该团队计划将 GenAug 应用于机器人学习的其他领域,例如行为克隆和强化学习,并超越更困难的操作问题。研究人员认为,研究语言和视觉语言模型的混合是否或是否可以提供出色的场景生成器,这将是一种引人入胜的方法。

举报

  • 相关推荐
  • 大家在看
  • SumyAI:视频摘要工具

    SumyAI是一款AI驱动的视频摘要工具,可以将冗长的视频压缩成关键要点,以便更快地吸收,节省时间并增强记忆力。定价:免费试用。

  • AI Girlfriend Emma:与AI女友Emma一起享受甜蜜时光

    AI女友Emma是一个可以与你进行交流的虚拟伴侣。她可以陪伴你聊天,提供情感支持和娱乐,为你带来温暖和快乐。免费用户每周可以发送30条消息,付费用户享受无限制的沟通。价格为1.99美元/周。

  • Emplibot:WordPress自动博客写作AI工具

    Emplibot是一个自动将高质量文章发布到WordPress博客的AI工具。它通过进行关键词研究、插入图片和内部链接等方式,自动完成文章的生成。它能为您的目标用户量身定制内容,提升博客的SEO效果,促进业务增长。

  • DocTranslator:AI 文件翻译工具

    DocTranslator 是世界上最好的 AI 翻译工具,支持超过 100 种语言,可快速翻译大型 PDF、Word、Excel、PPT 文件。提供免费试用计划和存储计划,支持 MS Word、Excel 和 PDF 格式,保留原始格式和布局。价格从 0.005 美元 / 单词起,满足各种用户需求。

  • sourcenext:梦幻 AI 翻译机

    ポケトーク是一款梦幻的 AI 翻译机,可以让无法交流的人进行对话,具有高度实用性和便携性,是旅行、商务等场景的理想助手。

  • chichi-pui:AI 画像专用的投稿和生成网站

    chichi-pui(ちちぷい)是一家 AI 画像专用的投稿和生成网站,用户可以在此分享和生成 AI 插画、AI 照片等作品。该网站拥有丰富的 AI 画像投稿和生成内容,适合对 AI 艺术感兴趣的用户使用。用户可在网站上参与不同的活动和投稿企划,与其他用户分享作品并获取灵感。

  • Al Comic Factory:自动生成有情感、有故事性的漫画内容

    Al Comic Factory利用大型语言模型和SDXL技术自动生成有情感、有故事性的漫画内容。用户只需提供简单文本提示,AI Comic Factory即可生成包含人物对话和场景描述的漫画。支持多种配置、用户交互、多语言内容创建、批量生成漫画变体等功能。

  • Chatmind AI:AI 原生思维导图在线工具

    Chatmind 是一款由 Xmind 团队推出的免费在线 AI 思维导图和头脑风暴工具,通过 ChatGPT 技术,帮助用户在几分钟内创建思维导图。用户可以通过简单的文本描述生成思维导图,快速总结文档或 URL 链接为思维导图,与 AI 对话产生创意并整合到思维导图中,描述文本即可立即生成图像,轻松为任何主题创建视觉内容,自动保存文件历史以便跨设备访问,编辑文本和重新排列主题轻松自如,将思维导图转化为幻灯片展示只需一键,轻松以多种格式分享思维导图。

  • Scribble Diffusion:将您的草图转化为精致图像

    Scribble Diffusion利用人工智能将您的草图转化为精致图像。用户可以上传草图并获得优化后的图像。产品定位为为用户提供便捷的图像处理功能,提升设计效率。

  • Sider:AI 助手,集成多功能 AI 工具

    Sider 是一款 AI 助手,集成了 ChatGPT 3.5/4、Gemini 和 Claude 等多功能 AI 工具,能够帮助用户进行聊天、写作、阅读、翻译、解释、图像测试等操作。用户可在任何网页上使用 Sider,提供强大的 AI 支持。

  • joyland:沉浸式 AI 聊天平台,创造自己的冒险!

    joyland是一个沉浸式 AI 聊天平台,用户可以在其中进行基于角色的对话,创造自己的冒险故事。通过与虚拟角色互动,用户可以逃离现实生活的平凡,沉浸于充满乐趣和想象力的互动体验中。乐园的定价灵活多样,适合不同用户需求。

  • Charstar AI:虚拟 AI 角色交流平台

    Charstar AI 是一个基于最新开源 AI 技术支持的虚拟角色交流平台,用户可以与各种虚拟 AI 角色进行互动、发现新角色,并探索其潜在故事。通过与虚拟角色聊天,用户可以体验到独特的交流方式,为用户提供全新的虚拟角色交互体验。

  • FakeYou:深度伪造文本到语音生成器

    FakeYou Celebrity Voice Generator 是一款利用深度伪造技术生成喜爱角色说任何你想说的话的文本到语音生成器。用户可以免费使用该工具来创作独特的声音内容。

  • The StoryGraph:根据您的心情和偏好追踪和选择书籍。

    The StoryGraph 是一个帮助用户跟踪阅读进度并选择下一本书的平台。用户可以免费使用大部分功能,也提供付费的 Plus 计划获得更加个性化的体验。由 Nadia Odunayo 和 Rob Frelow 创办,始于 Nadia 的个人项目,致力于帮助用户管理阅读列表。用户可以在 App Store 和 Play Store 下载 The StoryGraph 的移动应用,并从 Goodreads 导入阅读数据。

  • Happy Scribe:音频转文字及视频字幕服务

    Happy Scribe 提供自动和人工转录服务,将音频转换为文本,准确率达到 85-99%,支持 120 多种语言和 45 多种格式。定位于为用户提供高效的音视频转录及字幕服务。

  • Product Hunt:发现科技领域最佳新品AI产品

    Product Hunt 是每天最佳新品的精选。发现最新的移动应用程序、网站和技术产品,人人都在谈论。

  • JanitorAI:NSFW虚构聊天机器人角色

    JanitorAI 是一个集合了各种有趣的聊天机器人的平台,用户可以与各种不同性格和故事背景的虚拟角色进行互动。平台定位于提供娱乐和交流的虚拟角色体验。用户可以选择不同的角色与之互动,体验多样化的聊天和故事情节。平台允许用户创建具有不同个性的NSFW虚构聊天机器人角色。该平台由大型语言模型驱动,包括OpenAI的GPT模型。

  • ComfyUI-SuperBeasts:用于增强图像动态范围和视觉吸引力的图像处理应用程序

    ComfyUI-SuperBeasts是一款用于增强图像动态范围和视觉吸引力的图像处理应用程序。它提供了一组可调整的参数,用于根据用户偏好微调HDR效果。该应用程序具有以下特点:调整阴影、高光和整体HDR效果的强度;应用伽马校正以控制整体亮度和对比度;增强对比度和色彩饱和度,使结果更加生动;通过在LAB颜色空间处理图像来保留颜色准确性;利用基于亮度的掩码进行针对性调整;将调整后的亮度与原始亮度进行混合,以实现平衡效果。

  • Liner:AI Copilot, 提升工作效率

    Liner 是由 GPT-4 提供支持,旨在提高您的生产力。通过摘要文章、生成代码和撰写电子邮件,优化工作流程。

  • Adobe GenStudio:跨渠道活动工具集,提升营销效率。

    Adobe GenStudio是一个基于生成式人工智能构建的跨渠道活动工具集,旨在帮助营销团队规划、制作、管理、发布并评估高品质品牌内容。核心功能包括创作、内容中心、活动管理、发布和数据洞察。产品定位于提升营销人员工作效率及品牌形象一致性。

今日大家都在搜的词: