首页 > 传媒 > 关键词  > NEXA最新资讯  > 正文

斯坦福团队发布全球首个超小型多模态AI代理模型Octopus V3,函数调用准确度媲美GPT-4

2024-05-09 14:06 · 稿源: 站长之家用户

近日,斯坦福大学NEXA AI团队宣布推出全球首 个多模态AI代理模型Octopus V3,让AI代理更加智能、快速、能耗及成本降低。

今年四月份初,NEXA AI推出了备受瞩目的Octopus V2,该模型在函数调用性能上超越了GPT-4,减少了95%的推理时所需的文本量,为端侧AI应用带来了新的可能性。其专利性核心技术“functional token”通过创新的函数调用方式显著减少推理时所需的文本长度。

这种方法使得模型能够在只有20亿参数的情况下实现有效训练,并在精度和延迟方面超越了GPT-4,适应了各种端设备的部署需求。

发布以来,Octopus V2在LLM社区获得了广泛关注,受到了AI领域大量前沿技术专家及研究者的赞赏,如Hugging Face的CTO Julien Chaumond、知名AI Newsletter Rundown AI的创始人 Rowan Cheung以及Figure AI的创始人Brett Adcock、OPPO边缘人工智能团队负责人Manoj Kumar,称其“开创了端侧AI技术新纪元”。

在知名开源AI平台Hugging Face上,Octopus V2下载量已经超过12000次。

在不到一个月的时间里,NEXA AI团队发布下一代多模态AI代理模型Octopus V3,展现进一步突破:具有图像处理和多语言文本处理能力,为智能手机等端侧设备真正走向AI时代铺平了道路。

AI技术突破:首 个参数量小于10亿的多模态AI代理模型

Octopus V3不仅拥有多模态能力,在函数调用性能上远超同类模型,可媲美GPT-4V+GPT4;而且模型参数量不到10亿,具有多语言能力。

也就是说,相比传统的大型语言模型,它体积更小,能耗更低,能够更加轻松地在各种小型端设备上运行,比如树莓派,并做到高速且准确的函数调用。

这意味着,未来AI代理能够广泛应用于智能手机、AR/VR、机器人、智能汽车等端侧设备,为用户交互体验更加流畅、智能。

另一方面,由于V3具有多模态处理能力,可同时处理文本和图像输入,再加上多语言能力,也将让用户体验更加丰富。

例如,在Instacart购物应用中,用户可以通过一张菠萝的图片及简单的对话指令,让AI代理自动为他们搜索商品,提高了效率和用户的体验。

再比如,在发送邮件等场景中,Octopus V3可以根据一张具有文字的图像,自动提取信息并填写邮件内容,为用户提供更加智能、便捷的服务。

Octopus系列模型的发布标志着端侧AI代理技术的重要突破,可能成为人工智能技术的新里程碑。

从软件交互到智能汽车,端侧AI潜力巨大

基于这些特性,Octopus V2及V3的应用场景丰富多样,具有广泛的应用前景。

除上文提到的手机场景,当Octopus V2应用在智能汽车上时,也能带来新的交互体验。目前的语音助手往往难以帮助车主完成较为复杂的任务,如在驾驶途中临时改变目的地、加入额外停靠点等。应用Octopus V3后,AI助手能够基于较为模糊简单的指令快速、准确地完成相应任务。

结合V2、V3的能力,从信息检索、到基于指令完成设计,用户可以在虚拟场景下获得流畅的AI体验:在一个社区用户的VR场景demo中,输入简单的语音指令后,AI代理能够帮助用户快速完成一个客厅设计,在弹指间替换沙发、改变颜色灯光等。在用户输入旅行指令后,用户快速来到了日本,而AI代理同样可以在简单的对话式交流中帮助用户搜索相应景点,提供丰富的信息。

数据显示,全球大型语言模型市场规模正在快速增长。Granview Research报告显示,全球大型语言模型市场规模估计为43.5亿美元,并预计从2024年到2030年的复合年增长率为35.9%。同样,边缘人工智能市场也呈现出蓬勃发展的势头——预计从2023年到2030年,全球边缘人工智能市场的复合年增长率为21.0%,到2030年将达到664.78亿美元。

NEXA AI团队由斯坦福大学的杰出研究人员创立。创始人兼首席科学家Alex Chen(陈伟)正在攻读斯坦福大学的博士学位,拥有丰富的人工智能研究经验,并且曾担任斯坦福华人创业协会(Stanford Chinese Entrepreneurs Organization)的主席。联合创始人兼首席技术官Zack Li(李志远)也毕业于斯坦福大学,并在Google和Amazon Lab126实验室拥有4年端侧AI的一线研发经验,同样曾经担任斯坦福华人创业协会的主席。斯坦福大学副教授、斯坦福技术创业项目副主任Charles (Chuck) Eesley担任顾问,为团队提供指导和支持。

左:李志远;右:陈伟

目前,NEXA AI的创举性技术已申请专利保护。

NEXA AI的创始团队表示,他们将继续致力于推动端侧AI技术的发展,通过开源模型提升其创新技术的影响力,为用户创造更智能、有效的未来生活。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • UniToken:多模态AI的“能选手”,一次编码搞定图文理解与图像生成

    复旦大学与美团研究者提出UniToken框架,首次在统一模型中实现图文理解与生成任务的"双优表现"。该方案融合连续和离散视觉编码,有效解决了传统多模态建模中的"任务干扰"和"表示割裂"问题。通过三阶段训练策略(视觉语义对齐、多任务联合训练、指令强化微调),UniToken在多个基准测试中性能超越专用模型。其创新性体现在:1)统一的双边视觉编码

  • AI日报:国内首个多模态AI程序员上岗;字节启动Top Seed计划招募AI人才;DeepSeek R1T Chimera上线OpenRouter

    【AI日报】今日AI领域重要动态:1.百度发布文心快码3.5及多模态AI程序员"文心快码Comate Zulu",提升开发效率;2.字节跳动启动"Top Seed"计划,招募30名AI博士人才;3.DeepSeek开源R1T Chimera模型上线OpenRouter平台;4.阿里AI工程师余亮获"全国劳动模范"称号;5.开源图像编辑工具Step1X-Edit登陆Hugging Face,性能媲美GPT-4o;6.谷歌被曝每月向三星支付巨额资金预装Gemini应用

  • 可灵AI发布新2.0模型:上线多模态视频编辑功能

    快科技4月16日消息,据报道,可灵AI在北京举行灵感成真”2.0模型发布会,正式发布可灵2.0视频生成模型及可图2.0图像生成模型。据介绍,可灵2.0模型在动态质量、语义响应、画面美学等维度保持领先;可图2.0模型在指令遵循、电影质感及艺术风格表现等方面显著提升。3月27日,全球AI基准测试机构Artificial Analysis发布了最新的全球视频生成大模型榜单,快手可灵1.6pro(高品质模

  • 多模态和Agent成为大厂AI的新赛 点

    这是《窄播Weekly》的第52期,本期我们关注的商业动态是:当大厂的AI竞争策略开始倾斜向应用场景,多模态能力和代理执行成为两个焦点。大模型落地C端场景的核心,就是让大模型的能力越来越接近人。沿着这个主旋律,可以划分出两个进化方向:一个是持续降低用户与大模型进行有效沟通的难度;另一个则是让大模型具备执行更复杂任务的能力。前者的实现,需要给到大模型多

  • 多模态和Agent成为大厂AI的新赛点

    本期《窄播Weekly》聚焦AI大厂竞争策略向应用场景倾斜的趋势,重点分析了多模态能力和代理执行两大发展方向。文章指出,大模型落地的核心在于让人机交互更自然,具体表现为:1)通过多模态技术降低用户使用门槛,如阿里夸克新推出的"拍照问夸克"功能;2)通过代理执行提升复杂任务处理能力,如字节、百度等推出的通用Agent产品。国内外厂商路径差异明显:国�

  • 紫东太初多模态RAG全新发布:端到端问答准确率提升33%

    在产业智能化进程中,如何高效融合企业专有知识资产,构建领域专属认知引擎,是企业迈向智能决策与高效运营的关键。然而,传统检索增强生成(RAG)技术受限于语言单模态处理能力,仅能实现文本知识库与文本查询之间的浅层理解,难以满足复杂业务场景的需求,在实际应用中暴露出两大缺陷:信息表征缺失:忽略知识库中多模态富文档的视觉语义信息,如版面结构、图表关�

  • 业界唯一!百网盘上线多模态AI笔记 效率提升10倍

    快科技5月2日消息,过往,用户在通过视频学习并记录笔记时,总免不了要不停切换平台软件,暂停、截屏、记录、插图、批注、切换返回视频过程繁琐而低效。为了应对这种情况,百度网盘和百度文库联合研发上线了AI笔记”,支持全自动学习、半自动学习、辅助学习三种模式。如今只要在网盘里面任意打开一个学习视频,在右侧就能看到AI笔记”功能,用户可以自主输入内容,也可以让其直接生成图文并茂、结构清晰的笔记。而且每个重要知识点旁会有时间戳,点击时间戳即可跳转到视频中对应位置,实现视频和笔记内容的顺滑关联。此外AI笔记”还可以帮

  • 开源即支持!基于昇腾MindSpeed MM玩转InternVL3多模态理解最新模型

    多模态理解领域当前已成了各家AI大模型公司“军备竞赛”的关键点之一,国内外知名AI大模型公司都争相通过发布最先进的多模态大语言模型展现其在多模态理解领域的前沿能力。近期,上海AI实验室推出了其最新的多模态大语言模型InternVL3 系列,相比上一代InternVL2. 5 模型,该模型展现出卓越的多模态感知和推理能力,同时进一步扩展了其工具使用、GUI代理、工业图像分析等

  • 全球首个!百度发布内容操作系统沧舟OS 让AI无所不能

    百度在Create2025开发者大会上推出全球首个内容领域操作系统"沧浪OS"。该系统支持全模态内容输入输出、多智能体调用,适配MCP协议,突破场景和入口限制,实现端到端交付。沧浪OS整合百度文库、网盘等产品线的AI业务框架,包含数百个经过验证的Agent工具,支持跨模态、跨格式的内容理解。系统打通百度文库、学术数据库及全网公开内容,同时支持用户授权的本地或网盘私有内容。目前沧浪OS已全面拥抱MCP生态,通过标准化协议对外开放核心能力,降低接入门槛,推动AI应用普及。

  • 全球首个女性肿瘤AI大模型 “木兰”正式进入临床应用

    快科技5月14日消息,华中科技大学宣布,全球首个女性肿瘤AI大模型木兰”,正式进入临床应用阶段。目前,公众可通过华中科技大学同济医院”公众号或掌上同济”APP,在互联网医院下的同济木兰AI咨询”栏目中获得免费服务。未来,该模型还将通过更多手机端线上平台、电脑端应用以及各级医疗机构等多种渠道,向公众开放。据介绍,木兰”由华中科技大学同济医学院附属同济医院主导研发,该模型以国内外权威的女性肿瘤医疗指南和高质量专家共识为基础,融合了同济医院近20年来的高质量病例数据。还整合了中国工程院院士、同济医院妇产科学系主任