首页 > 业界 > 关键词  > Dobb-E最新资讯  > 正文

纽约大学和Meta研究人员推出Dobb-E:家庭机器人操作学习的开源通用框架

2023-12-04 10:28 · 稿源:站长之家

**划重点:**

1. 🚀 Dobb-E是一款高度适应性的系统,能够从用户演示中学习和适应,成功率达到81%。

2. 🏡 通过利用iPhone功能,研究团队构建了一个独特的家庭和第一人称机器人交互数据集,突显其在真实环境中的高效性。

3. 💡 Dobb-E的成功归功于简单而强大的方法,包括行为克隆和用于动作预测的两层神经网络。

站长之家(ChinaZ.com)12月4日 消息:纽约大学和Meta的研究团队最近推出了一款名为Dobb-E的开源机器人学习框架,旨在解决家庭环境中机器人操作学习的挑战。这一高度适应性的系统通过从用户演示中学习和适应,取得了显著的成功,其在陌生家庭环境中的成功率达到了81%。

研究团队强调了他们在家庭和第一人称机器人交互方面构建的独特数据集。通过充分利用iPhone的功能,该数据集提供了高质量的动作和稀有深度信息。相比于现有的自动化操作集中的表示模型,研究团队强调了面向通用表示的领域内预训练的重要性。为了进一步改进他们的研究,他们建议通过非机器人家庭视频的领域外信息来扩充他们的数据集。

image.png

研究团队提到了在创建全面的家庭助手方面的挑战,倡导从受控环境转向真实家庭。为了实现效率、安全和用户舒适度,他们引入了Dobb-E作为体现这些原则的框架。Dobb-E利用大规模数据和现代机器学习实现效率,利用人类演示确保安全,还使用人体工学工具提高用户舒适度。该框架集成了围绕Hello Robot Stretch的硬件、模型和算法。他们还讨论了纽约家庭数据集,该数据集包含来自22个家庭的多样化演示,以及用于视觉模型的自监督学习技术。

研究采用了行为克隆框架,这是模仿学习的一个子集,用于训练Dobb-E模仿人类或专业代理的行为。通过设计的硬件设置,演示可以无缝收集并传输到机器人实体,利用多样化的家庭数据,包括iPhone测距。基础模型在这些数据上进行了预训练。在实际家庭中对训练过的模型进行测试,包括视觉表示、所需演示、深度感知、演示者专业知识以及系统中参数化策略的必要性的消融实验。

Dobb-E是一款在各种家庭环境中测试的经济高效且多功能的机器人操作系统,成功率令人印象深刻达到81%。该系统的软件堆栈、模型、数据和硬件设计由Dobb-E团队慷慨地开源,以推动家庭机器人研究的发展,并促进机器人管家的广泛应用。Dobb-E的成功归功于其简单而强大的方法,包括行为克隆和用于动作预测的两层神经网络。实验还为照明条件和阴影影响任务执行的挑战提供了见解。

Dobb·E具有以下显著特色和功能:

1.109项任务覆盖: Dobb·E能够学习并执行109项家庭任务,使其具有广泛的应用领域。

2. 纽约市家庭数据集(HoNY): 通过Stick工具,Dobb·E构建了Homes of New York(HoNY)数据集,包含22个不同纽约城家庭的13小时交互数据。数据集中包括RGB和深度视频,以及6D握爪姿势和握爪张开角度的完整动作注释。

3. Stick工具: 为了解决家庭机器人领域中收集演示的难题,Dobb·E开发了Stick工具。这是一个使用25美元的Reacher-grabber stick、3D打印零件和iPhone构建的演示收集工具。

4. Home Pretrained Representations(HPR)模型: HPR是在HoNY数据集上预训练的模型,用于初始化在新环境中执行新任务的机器人策略。它采用了ResNet-34模型,使用MoCo-v3自监督学习目标进行训练。

5. 快速学习: Dobb·E声称在20分钟内学会新任务,且在新环境中的任务表现具有81%的平均成功率。

项目网址:https://dobb-e.com/

论文网址:https://arxiv.org/abs/2311.16098

举报

  • 相关推荐
  • 大家在看
  • Nara AI: | 通过拍照解答数学和物理题

    Nara AI是一款通过拍照解答数学和物理题的智能应用。它能快速准确地解答各种难题,提供易于理解的解题步骤和解析。Nara AI已经在印度尼西亚被数百名学生使用,受到广泛好评。价格信息请访问官方网站。

  • TuingAI:启迪新时代的产品营销!

    图应是一款基于AIGC技术的产品营销工具,帮助用户快速、高效、经济地创建高质量商品图,提升商拍效果,降低成本。通过AI模特、真人人台和AI商品图等功能,为用户提供全方位的图像处理服务。无论是艺术创作、设计还是商业运营,图应都能帮助您轻松实现独特且引人注目的图像效果。

  • PDF Flex | AI Chat with PDF:转换PDF文件,即时聊天与PDF并获取深度答案

    PDF Flex是一款能够帮助用户转换PDF文件格式并与PDF进行即时聊天的工具。它可以将PDF文件转换成多种格式,并且可以向PDF提问问题并立即获得详细回答,提高研究效率。PDF Flex还提供了丰富的功能和使用场景,适用于个人和企业用户。定价方案包括免费和付费版本,用户可以根据自己的需求选择合适的版本。

  • Pen2txt:手写识别AI助手

    Pen2txt是一款利用OCR和人工智能进行手写文本识别的产品。它可以将手写笔记转换为可编辑、可搜索的数字文本,适用于学生、专业人士以及任何需要将纸质文件转换为数字形式的人群。Pen2txt凭借准确、可搜索和可编辑的结果,提高了工作效率。

  • SheetMagic:在Google Sheets中使用AI和无限网络爬虫

    SheetMagic是一个在Google Sheets中使用AI和无限网络爬虫的插件。它能够生成AI内容和AI图片,实现无限的AI提示,并且能够从网站和搜索引擎结果页面获取实时数据。除此之外,它还可以进行数据分析、数据准备和其他多种功能,全部在Google Sheets内完成。

  • Nurmonic: 你的全能 Discord 机器人

    Nurmonic 是一款功能全面的 Discord 机器人,提供聊天互动、图片视频生成、支持票务等多项功能。适用于各类 Discord 社群,为用户带来便利和娱乐。价格根据不同版本和功能选项而定。

  • KaraboAI:为您的业务创建自定义的AI聊天机器人

    KaraboAI Custom ChatGPT Chatbots是一个用于网站的自定义AI聊天机器人平台。您可以在2分钟内创建定制的AI聊天机器人,并嵌入到您的网站中。该聊天机器人可以根据您的业务需求执行各种复杂任务,如知识检索、商务咨询、数据收集、预约日历、电子商务、报价生成和预订管理等。它提供方便的上游数据集成和下游聊天机器人部署集成,支持多种功能和定价选项。

  • Studia AI:使用AI创建您自己的课程

    Studia AI是一个使用人工智能生成学习步骤的平台。它可以帮助用户创建自己的课程,包括功能丰富的学习步骤生成、个性化定制、智能推荐等。定价根据不同的套餐和功能进行收费。

  • Filmora:易於使用的影片編輯軟體

    Wondershare Filmora是一款簡單易用的影片編輯器,可讓您在Windows和Mac上編輯影片和音訊。Filmora提供了豐富的功能和創意視覺效果,讓您可以創建令人驚嘆的影片。它定位於個人和小型企業用戶,並有多個定價方案供選擇。

  • Dreamora: AI解梦

    Dreamora是一款基于人工智能技术构建的解梦应用,提供准确全面的梦境解释。它包含了从伊本·西里恩(Ibn Sirin)和阿尔·纳布尔西(Al-Nabulsi)等主要解梦师那里得出的所有梦境解释,还有最新的信息和持续更新。只需将您的梦境输入应用程序,人工智能将在几秒钟内提供准确的解释。最重要的是,使用这个应用程序完全免费。

  • Suinfy:AI-powered YouTube视频摘要器

    Suinfy是一个AI-powered YouTube视频摘要器,提取长视频中的关键思想和见解。节省您的时间,提高您的生产力。

  • Amplifiles:转化PDF为动态体验

    Amplifiles可以将PDF转化为动态体验,为销售和营销专业人员提供AI语音解说、自定义CTA、CRM集成等功能,提升销售效果。详细定价和功能列表请访问官网了解。

  • ImageAI.QA:100%免费AI图片描述生成器

    AI图片描述生成器是一个能够使用人工智能自动生成图片描述的工具。它可以帮助艺术家、设计师等创作者揭示他们作品背后的隐藏细节、情感和含义。该工具提供全新的视角,让人们可以更深入地理解和欣赏艺术作品。AI图片描述生成器是一个早期测试版本,部分功能可能还不稳定。如果您在使用过程中遇到任何问题或有任何建议,请随时与我们联系。您的反馈对我们非常重要,将帮助我们改进该工具。

  • SpeedProof:快速修改、检查语法、翻译、解释、总结

    SpeedProof: One-Click AI Text Edit是一个一键式的AI文本编辑插件,可以快速修改、检查语法、翻译、解释和总结所选文本。只需选中文本,点击SpeedProof插件图标,选择所需操作即可使用ChatGPT进行修改。支持检查语法、总结、翻译、重新表达等功能,可在任何语气下进行操作。

  • AI Detector:检测AI生成的内容

    AI Detector是一个在线工具,使用先进的算法和机器学习来检测文本是否由AI生成。它可以分析写作风格和句子结构,判断内容是否由ChatGPT、GPT 4、Bard、Claude或人类创作。您可以免费使用AI Detector,每次最多检测1000个字,并获得95%的准确率。

  • WitChat:AI支持的最佳客户服务系统

    WitChat是一款具有AI集成的客户服务系统。我们的软件通过文本、手机、电话、电子邮件、聊天和社交媒体等多种渠道增强客户互动体验。

  • editoReview.com:基于AI的论文和应用界面的同行评审

    editoReview是一个为学术编辑和营销代理提供咨询服务的平台,旨在评估研究文章或服务插件API在AI界面上的可搜索性和可用性。用户可以通过AI聊天记录或模板文档开始新的评审,引用参考文献或应用程序以与作者或开发者安排会议,支付咨询费用,并发布可共享的评审记录。editoReview通过智能搜索和智能使用的方式帮助编辑和营销人员明确论文或服务插件在界面上的可行性,并在arXiv文献和Zapier市场的其他论文和应用上进行了整合。

  • Draph Art:AI生成的背景去除和高质量产品图片

    Draph Art是一款能够自动生成背景去除、道具、光照、阴影和模特等所有元素的AI产品。无需专业技术,任何人都可以制作出吸引人的产品图片。通过Draph Art,您可以使用相关的产品照片来吸引顾客的注意力。从一张原始照片到多种主题的产品照片,只需告诉我们您想要的主题,AI将分析上传照片的背景氛围和颜色,然后为所选择的主题生成多张照片。

  • 百度文库-智能漫画·智能画本:一站式智能漫画创作工具,从创意到作品一键实现

    百度文库推出的智能漫画创作工具,具有以下优势:1.一站式创作流程,从创意到成品无缝衔接。2.多种漫画风格可选,如韩系卡通、浪漫厚涂等。3.人物形象、表情、场景等描绘精细生动,媲美漫画家水准。4.内置智能编辑器,可对细节进行精修。5.无需专业绘画技能,有创意即可创作。6.目前处于公测阶段,可关注公众号预约体验。

  • 星辰语义大模型-TeleChat:星辰语义大模型,智能对话助手

    TeleChat是由中电信人工智能科技有限公司研发的星辰语义大模型,具备强大的对话生成能力,支持多轮对话,适用于多种场景的智能问答和内容生成。模型经过大量高质量中英文语料训练,具备优秀的通用问答、知识类、代码类、数学类问答能力。

今日大家都在搜的词: