首页 > 业界 > 关键词  > RoboTool最新资讯  > 正文

RoboTool:让机器人通过大语言模型创新性地运用工具

2023-11-15 11:57 · 稿源:站长之家

**划重点:**

1. 🧠 研究人员在卡内基梅隆大学和Google DeepMind开发了RoboTool,这是一个系统,通过利用大型语言模型,扩展了机器人的能力,使它们能够更创造性地使用工具。

2. 🌐 RoboTool通过接受自然语言指令,使用GPT-4模型生成可执行代码,帮助机器人以更灵活和创意的方式解决各种复杂任务,如举重或按压难以到达的按钮。

3. 🏡 该系统不仅有望推动机器人在家庭任务中的应用,还能在领域中发挥创新作用,例如构建步石以攀爬到目标位置,或在灾后环境中适应性地利用工具。

站长之家(ChinaZ.com)11月15日 消息:研究人员在卡内基梅隆大学和Google DeepMind最近开发了名为RoboTool的系统,该系统通过利用大型语言模型,为机器人创造性地使用工具提供了可能性。该系统的引入有望为机器人领域带来新的创新和创造力浪潮。

image.png

"工具的使用经常被视为先进智能的标志,"卡内基梅隆大学博士候选人兼论文的共同第一作者Mengdi Xu介绍道。他补充说:"创意地使用工具不仅要求预测动作结果的全面能力,还需要推理使用哪种工具以及如何使用它们。"

机器人通常以标准和重复的方式完成手动任务,而不去探索替代方法。然而,通过更创新的方式解决问题,它们可以更好地应对复杂的现实场景。Mengdi Xu的同事之一、共同第一作者和博士候选人Peide Huang表示:"在机器人领域,创意工具使用也是一种关键但非常苛刻的能力,因为它需要全方位地预测行动结果、推理使用哪种工具以及规划如何使用它们。"

研究人员的主要目标是设计一个允许机器人更创造性地使用工具的系统。这种工具可以帮助机器人更有效地解决各种现实问题,例如在试图抓取无法触及的物体时,或者创建攀爬到目标位置的步石时,能够调整其策略。

Peide Huang解释说:"大型语言模型(LLMs)的崛起极大地增强了聊天机器人、编码自动化和视觉内容创建等功能。在这些数字界面之外,具有实体存在的AI可能代表着智能的下一个领域,即与现实世界进行有形互动。机器人作为LLMs的物理延伸,为这一探索提供了理想的媒介。"

过去的研究已经展示了LLMs在改善各种机器人功能方面的潜力,包括与用户的交流、推理、规划和任务执行。例如,Google DeepMind的SayCan工具使机器人能够理解诸如"I spilled my drink, can you help?"这样的自然语言指令,并随后制定策略来解决各种家务问题。然而,利用LLMs解决机器人身体和周围环境设定的隐含约束的问题仍然具有挑战性。

image.png

Peide Huang、Mengdi Xu及其同事决定探索LLMs的使用,以提高机器人在不同任务中的创造性。换句话说,他们希望创建一个系统,能够识别使看似"不可能"的任务成为可能的创意方法。

他们提出的系统名为RoboTool,接受关于环境、机器人结构和要遵循的任何约束的自然语言指令,然后生成应用机器人参数化低级技能以控制模拟和实体机器人的代码。

研究人员创建的新工具具有四个关键组件:分析器、规划器、计算器和编码器。分析器处理用户用自然语言给出的提示,识别可能影响所请求任务可行性的关键元素。

RoboTool的规划器组件接收原始语言输入和已识别的关键概念,利用它们制定完成任务的综合策略。计算器组件则确定参数,例如每个参数化技能所需的目标位置。

RoboTool的最终组件,即编码器,将规划器创建的综合计划和计算器产生的参数转换为可执行代码。值得注意的是,所有这些组件都是使用OpenAI的GPT-4模型开发的。

RoboTool使机器人能够创造性地使用工具,解决各种以前未遇到的复杂任务。例如,它可以帮助制造杠杆以举起重箱,或使用磁性方块制作杆以按下难以触及的按钮。

Peide Huang、Mengdi Xu及其合作者开发的这一新工具很快就能够被全球的机器人学家使用,以拓展其系统的能力。该工具可以使机器人执行更复杂的家务任务,例如使用可用工具清理排水管或修理破损的家具。

Mengdi Xu说:"RoboTool还可以通过即兴使用可用工具来改善机器人在碎片或倒塌的结构中导航,以达到被困人员。它还可以应用于建筑和维护,允许机器人使用手头上的任何工具适应性地修复机械设备或结构,或通过创造性地组合传统工具构建精细设计。"

研究人员已经在项目网站上发布了RoboTool的演示视频。在他们的下一项研究中,他们计划将大型视觉基础模型纳入其系统,包括支持3D计算机视觉的模型,因为这可以进一步增强机器人在开放环境中的感知和推理能力。卡内基梅隆大学的副教授、CMU Safe AI实验室主任丁昭表示:"我们还计划开发人类与RoboTool进行直观指导和协作的方式,并为RoboTool建立安全措施,以降低机器人与人类共同工作时的风险。"

举报

  • 相关推荐
  • 大家在看
  • LLM101n:构建一个会讲故事的人工智能大型语言模型。

    LLM101n是一个开源课程,旨在教授如何从头开始构建一个能讲故事的人工智能大型语言模型(LLM)。课程内容涵盖了从基础到高级的多个方面,包括语言模型、机器学习、深度学习框架等,适合希望深入理解AI和LLM的编程人员和研究人员。

  • Ohai.ai:智能家庭助理,简化家务管理

    Ohai是由Care.com创始人Sheila Lirio Marcelo带领的团队创建的智能家庭助理,旨在减轻家庭事务负责人的心理负担。它通过文本消息与用户互动,帮助管理家庭日程、待办事项、协调家庭和看护者之间的沟通,并跟踪学校邮件等。

  • RecruiterCloud:一站式智能招聘与人才搜索工具

    RecruiterCloud是一个为初创公司设计的一站式招聘和人才搜索工具。它专注于速度、效率和易用性,提供智能搜索和人才挖掘功能。该平台拥有超过1100万美国工程师和数据科学家的数据库,通过先进的筛选和自定义高亮功能,帮助用户快速找到合适的候选人。此外,RecruiterCloud还提供一键式外联自动化、与现有ATS无缝同步等特性,简化招聘流程,缩短招聘时间。

  • Playmaker Document AI:自动化文档工作流程,释放AI的力量。

    Playmaker Document AI是一款旨在通过人工智能技术自动化文档处理流程的产品。它通过智能识别和提取文档中的数据,帮助用户消除手动工作,简化基于文档的流程。产品背景信息显示,Playmaker Document AI由Playmaker Software Ltd.开发,团队来自伦敦、爱丁堡、伊斯坦布尔和新德里。产品的主要优点包括数据的安全性、支持多种文档类型、以及能够与300多个集成无缝对接。

  • Spiral:自动化写作和创意任务的智能助手

    Spiral是一个旨在自动化重复写作、思考和创意任务的在线工具。它通过用户的训练示例来学习用户的语音、语调和风格,进而生成符合用户要求的输出内容。Spiral的主要优点包括:快速启动、个性化输出、团队协作以及持续优化。产品背景信息显示,Spiral受到了多位行业人士的好评,他们认为Spiral能显著提高工作效率,并且输出内容自然,不显生硬。Spiral提供订阅服务,价格为1美元试用两周,之后为每月20美元或每年200美元。

  • Future You:未来自我模拟,人生规划助手

    Future You是一个在线模拟工具,旨在帮助用户通过一系列问题和模拟,反思和设想自己未来的生活。用户通过回答关于现在的自己、理想生活、职业规划等问题,与AI生成的未来自我进行互动,从而获得对未来的深刻洞察和规划。

  • Rockset:高效的混合搜索和实时分析数据库

    Rockset是一个为大规模数据提供高效搜索和实时分析的数据库平台。它支持向量、文本、地理空间和JSON数据的索引,能够实现混合搜索架构,并通过流式数据摄入和高QPS工作负载来测量端到端延迟。Rockset的主要优点包括实时索引、毫秒级SQL查询、快速开发新功能、降低计算和存储成本,以及无需ETL、去规范化、管理分片、索引或集群的灵活性。

  • Diffutoon:将真实视频转化为动漫风格的创新技术

    Diffutoon是一种先进的动漫风格渲染技术,能够将逼真的视频转换成动漫风格,适用于高分辨率和快速运动的视频。源代码已在DiffSynth-Studio发布,同时发布了技术报告。

  • Particl:自动化竞品情报工具

    Particl是一款专注于自动化竞品情报的商业工具,它通过AI技术追踪销售、库存、定价、商品种类和市场情绪,为零售品牌提供实时数据,帮助企业快速识别市场盈利机会。Particl服务于全球增长最快的零售品牌,覆盖服装、消费品、美容、健康、珠宝、补充品、家居用品、户外等多个领域。

  • Chrome AI:Chrome内置AI工具,提升创造力与生产力。

    Chrome AI是Chrome浏览器内置的AI工具,它通过即时响应来提升用户的工作效率和创造力。该工具在浏览器内直接操作,保障用户隐私,支持离线使用,并完全免费。它通过本地处理数据,减少数据传输到外部服务器,符合严格的隐私标准。

  • 腾讯云大模型知识引擎 OCR 体验:提供文档解析功能,将图片或 PDF 文件转换成 Markdown 格式,实现智能转换

    OCR 体验是一个文档解析工具,利用 OCR 技术将图片或 PDF 文件转换成 Markdown 格式文件。其主要优点在于高效转换并智能排版,背景信息源于对文档处理的需求。目前免费使用。

  • BrainyAI:免费开源的浏览器侧边栏插件,集成AI功能

    BrainyAI是一个完全免费的Chrome浏览器扩展,用户只需登录一次即可使用各种AI网站。通过便捷的侧边栏,BrainyAI提供AI聊天聚合、AI搜索、AI阅读和增强的AI网页浏览等功能。支持多种大型语言模型,如Gpt3.5、Gpt4等,并且注重用户隐私,所有聊天历史、设置和登录数据都安全地存储在本地设备上。

  • Stable Diffusion 3 免费在线:先进文本生成图像模型

    Stable Diffusion 3是由Stability AI开发的最新文本生成图像模型,具有显著进步的图像保真度、多主体处理和文本匹配能力。利用多模态扩散变换器(MMDiT)架构,提供单独的图像和语言表示,支持API、下载和在线平台访问,适用于各种应用场景。

  • Luma AI视频生成器:创新的AI视频生成器,快速实现创意视频。

    Luma AI的Dream Machine是一款AI视频生成器,它利用先进的AI技术,将用户的想法转化为高质量、逼真的视频。它支持从文字描述或图片开始生成视频,具有高度的可扩展性、快速生成能力和实时访问功能。产品界面用户友好,适合专业人士和创意爱好者使用。Luma AI的Dream Machine不断更新,以保持技术领先,为用户提供持续改进的视频生成体验。

  • Lingo Link:一款专为翻译选中文本设计的浏览器插件。

    Lingo Link 是一款浏览器插件,主要用于翻译选中的文本,旨在帮助用户阅读外语原文并在此过程中提高语言技能。插件设计简洁美观,支持多种翻译服务,包括有道词典、谷歌翻译等,并允许用户自定义模型。

  • AQChatServer:极速、便捷的匿名在线即时聊天室

    AQChatServer是一个接入AI的极速、便捷的匿名在线即时聊天室,基于Netty和protobuf协议实现高性能,对标游戏后端开发,全程无需HTTP协议,支持文本、图片、文件、音频、视频的发送和接收。

  • Voice Pen:语音转文字的智能助手

    Voice Pen是一款利用人工智能技术将语音转换为文字的应用程序,它支持超过50种语言,使用OpenAI的Whisper技术提供完美的转录和标点。用户可以使用Voice Pen记录语音,生成笔记、摘要、电子邮件、消息、博客帖子等。此外,它还具备AI重写功能,帮助用户清晰地组织文本、总结、制作列表、创建博客/帖子/推文、Instagram标题和电子邮件。Voice Pen注重用户隐私,不收集任何录音或文本数据。

  • Eternity AC:创建您的数字克隆,超越限制,实现自我不朽。

    eternity.ac是一个提供数字克隆服务的平台,允许用户创建具有自己思想、声音和外观的数字克隆体。这项技术突破了传统的交流和表达方式,使用户能够以全新的形式与世界互动。产品背景信息显示,eternity.ac致力于推动数字存在技术的革命,为用户提供一种全新的自我表达和社交方式。

  • Dropbase:快速构建自定义后台操作软件的开发者平台

    Dropbase是一个为开发者设计的平台,旨在快速且无痛地构建自定义的内部工具和后台操作软件。它通过自然语言声明应用、UI预览、拖放调整、输入行为生成代码、代码运行和追踪调试等功能,帮助开发者摆脱低代码/无代码开发的局限。Dropbase支持与现有的CRM、计费和支持工具集成,提供如管理面板、审批仪表板、数据编辑器、云控制台和通知系统等多样化的内部软件组件,并且完全使用Python编写,提供代码的灵活性和重用性。

  • Socap.ai:利用AI帮助创始人和投资者快速扩展网络和融资

    Socap.ai是一个利用人工智能技术帮助创始人和投资者扩展社交网络和加速融资流程的平台。它通过提供智能匹配、社交资本共享和协作功能,使创业者能够更有效地与潜在的投资者和合作伙伴建立联系。Socap.ai背后的理念是利用社交网络的力量,通过有针对性的介绍和社区支持,帮助创业者实现其商业目标。

今日大家都在搜的词: