首页 > 业界 > 关键词  > Octopusv2最新资讯  > 正文

斯坦福推可以在手机端跑的大模型 Octopusv2超越GPT-4一夜爆火

2024-04-07 14:17 · 稿源:站长之家

站长之家(ChinaZ.com)4月7日 消息:斯坦福大学的研究团队近日推出了一款名为Octopusv2的新型人工智能模型,这款模型以其在端侧设备上的强大运行能力而受到广泛关注。

Octopusv2是一款拥有20亿参数的开源语言模型,专为在Android设备上运行而设计,同时也适用于汽车、个人电脑等其他端侧设备。该模型在准确性和延迟方面的表现超越了GPT-4,并且在上下文长度上减少了95%,显示出了显著的性能优势。

image.png

论文地址:https://arxiv.org/abs/2404.01744

模型主页:https://huggingface.co/NexaAIDev/Octopus-v2

Octopusv2的推出,标志着设备端AI智能体时代的来临。与传统的云端AI模型相比,端侧AI模型能够在本地设备上直接处理数据,减少了对网络的依赖,提高了数据处理的速度和隐私性。Octopusv2的下载量在短时间内突破了2000次,显示出开发者社区对其的高度认可和兴趣。

Octopus-V2-2B模型的开发过程中,研究团队采用了创新的函数token策略,这使得模型在训练和推理阶段能够高效地生成复杂的函数调用。为了训练、验证和测试模型,团队创建了高质量的数据集,并采用了Google Gemini进行二进制验证支持。此外,研究团队还编写了20个Android API描述,用于模型的训练,以确保其在实际应用中的高效性和准确性。

在模型开发与训练方面,Octopusv2采用了Google Gemma-2B模型作为预训练基础,并结合了完整模型训练和LoRA模型训练两种方法。通过这些方法,模型在保持与GPT-4相当的性能水平的同时,显著提高了推理速度。在单个GPU上运行Octopus-V2-2B模型的代码也已经公开,方便开发者进行实验和应用。

在性能评估方面,Octopus-V2-2B在基准测试中表现出了卓越的推理速度,比Llama7B+RAG解决方案快36倍,并且在函数调用准确率上超越了31%。

与依赖集群A100/H100GPU的GPT-4-turbo相比,Octopus-V2-2B的速度提高了168%。这些效率上的突破,使得Octopus-V2-2B在速度和准确率上都展现出了强大的竞争力。

随着Octopusv2的推出,我们有理由相信,端侧AI的发展将为各种应用带来革命性的变革。无论是在智能手机、汽车还是个人电脑等设备上,Octopusv2都能够提供高效、准确的AI支持,推动智能设备向更加智能化的方向发展。对于那些对AI技术充满热情的开发者和企业来说,Octopusv2无疑提供了一个全新的平台,以探索和实现更多创新的应用场景。

举报

  • 相关推荐
  • 云原生API安全获认可,绿盟科技入选 Gartner®《Hype Cycle™ for APIs, 2025》

    近日,Gartner发布《Hype Cycle™ for APIs,2025》报告,绿盟科技凭借云原生API安全方案入选API威胁防护领域代表厂商。该方案针对云原生环境下的API全流量防护,适配容器化、微服务架构等特性,解决东西向流量防护难题,已在金融行业试点应用,帮助用户构建稳定可靠的云原生API安全防护体系,保障核心业务数据机密性、完整性与可用性。

  • Matrixport 受邀出席 Bitcoin Asia 2025,共议机构投资新趋势

    Bitcoin Asia 2025峰会将于8月28-29日在香港举行,由BTC Media主办。预计吸引超1.5万名与会者,涵盖主题演讲、圆桌讨论及展览等活动,突显香港在全球数字资产领域的战略地位。会议将探讨亚太市场潜力、机构化进程及多元化投资机会,并邀请200余位全球重量级嘉宾参与。Matrixport作为亚洲领先加密金融服务平台,将持续推动资产数字化及Web3基础设施落地,助力行业创新与发展。

  • ChatGPT语音模式增添新功能:可调语速 支持0.5到2.0倍速

    OpenAI为其ChatGPT网页应用的语音模式推出新功能,加入语音速度”调节与自定义指令前缀”,同时配合此前升级的模型选择器,进一步提升用户体验。 新增的语音速度”选项让用户可通过滑块自由调整ChatGPT的语速,范围从0.5倍速到2.0倍速,不过该功能目前仍处于隐藏状态,尚未正式开放。 自定义指令前缀”功能则允许语音模式记住用户的特定要求,避免重复输入。系统明确�

  • Matrixport 旗下 Cactus Custody 与 OnChain 合作,完成招银国际美元货币市场基金化上链

    新加坡Matrixport旗下合规数字资产托管商Cactus Custody与OnChain合作,将招商国际美元货币市场基金以化形式上链运营,成为全球首只港新互认基金上链案例。该合作解决市场缺乏可审计、可托管的现金类资产等痛点,通过链上净值计算、白名单管理等机制,为机构与合格投资者提供透明、合规的链上投资选项。未来双方将持续深化合作,推动RWA标准化发展。

  • DTCC2025丨达梦以智算多模与AI创新引领行业变革

    近日,IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第十六届中国数据库技术大会(DTCC2025)在京隆重召开。大会以“智能创新 数赢未来”为主题,汇聚超百位行业专家及上千名嘉宾,聚焦数据库领域前沿技术。达梦数据作为领军企业受邀参会,重点展示了其在多模数据处理与AI+数据库融合方面的突破,推出“智算多模”引擎,实现统一存储与智能查询,为行业智能化发展注入新动能。

  • CCF HPC China 2025 | KunLun HPC解决方案赋能多行业创新升级 并获全国产异构创新HPC解决方案奖

    8月13-16日,第21届CCF全国高性能计算学术年会在鄂尔多斯召开。本届大会以"绿动计算 超智融合"为主题,汇聚顶尖学术阵容,展示全产业链成果与前沿趋势。河南昆仑技术有限公司重点展示双生态硬件平台、极致性能软件平台、应用迁移调优服务等HPC全栈解决方案。其KunLun HPC解决方案实现100%国产化,兼容x86设备,具备东西方双生态兼容、高性能、高能效等五大特点,并获全国产异构创新HPC解决方案奖。昆仑技术同期发布KunLun V2系列服务器产品,助力科研转化和行业智能化升级。多位专家在主题论坛分享国产超算软件生态建设经验,强调需持续投入构建自主可控的超算软件生态。昆仑技术表示将持续深耕高性能计算领域,推动行业向智能高效方向发展。

  • 不叫骁龙8 Elite 2!曝高通新一代Soc命名为骁龙8 Elite Gen5

    高通下一代旗舰Soc不叫骁龙8 Elite 2,暂定命名为骁龙8 Elite Gen5,型号为SM8850。 如果命名属实的话,这颗Soc的中文名字可能会叫第五代骁龙8至尊版”,高通这次从第一代直接跳到了第五代。

  • 酷睿 Ultra 赋能 AIPC 轻薄本:不止性能飞跃,更懂用户需求的智能新体验

    AI技术正从实验室走向日常生活,AIPC(人工智能个人计算机)成为满足用户多元化需求的关键载体。英特尔酷睿Ultra处理器凭借先进技术布局,突破传统轻薄本性能瓶颈,实现高效多任务处理与强大AI算力融合。华硕灵耀14Air等产品以性能与体验双优特质脱颖而出,不仅提升办公创作效率,更重新定义轻薄本的使用价值。随着技术迭代与生态完善,AIPC正从“小众尝鲜”走向“大众普及”,智能体验将成为未来轻薄本的标准配置。

  • AI与数字化变革费率3年连降,海尔智家H1再优化0.1pct

    海尔智家2025上半年业绩逆势增长,营收1564.94亿元,同比增长10.2%;净利润120.33亿元,增长15.6%。核心驱动因素为数字化转型与AI技术应用,通过全流程降本增效,销售管理费用率连续三年下降。国内聚焦明星爆品与多品牌协同,海外坚持本土化运营,实现各区域加速增长。AI驱动的产品创新打造多个行业爆款,带动高端品牌卡萨帝增长超20%。未来将持续深化数字化变革,开拓新发展空间。

  • 苹果iOS 26开发者预览版Beta 7发布:美版Apple Watch血氧回归

    今天凌晨,苹果发布了iOS 26开发者预览版Beta 7,虽然已经处于测试后期,但依然加入了新功能。 首先是美版Apple Watch的血氧检测功能回归,这与上周的iOS 18.6.1正式版同步,为美国Apple Watch Series 9、Series 10和Apple Watch Ultra 2用户提供了新的血氧体验。 从2024年1月18日开始,因美国国际贸易委员会(ITC)认定苹果部分Apple Watch血氧传感器专利侵权,所有在美国销售的Apple Watch Series 9�

今日大家都在搜的词: