首页 > 业界 > 关键词  > PowerInfer-2最新资讯  > 正文

手机流畅运行470亿大模型:上交大发布LLM手机推理框架PowerInfer-2,提速29倍

2024-06-12 18:06 · 稿源: 量子位公众号

苹果一出手,在手机等移动设备上部署大模型不可避免地成为行业关注焦点。然而,目前在移动设备上运行的模型相对较小(苹果的是3B,谷歌的是2B),并且消耗大量内存,这在很大程度上限制了其应用场景。即使是苹果,目前也需要与OpenAI合作,通过将云端GPT-4o大模型嵌入到操作系统中

......

本文由站长之家合作伙伴自媒体作者“量子位公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 有道14B低成本轻量模型“子曰3”开源,数学推理性能超越大模型

    网易有道6月23日开源国内首个专注数学教育的"子诳3"大模型系列数学模型(Confucius3-Math)。该模型在单块消费级GPU上高效运行,在多项数学推理任务中性能超越更大规模的通用模型,高考数学题测试得分达98.5分。其训练成本仅2.6万美元,推理性能是DeepSeek+R1的15倍,服务成本低至每百万token0.15美元,大幅降低教育AI应用门槛。该开源模型为教育公平提供低成本、高性能的AI�

  • 主流AI多模态大模型有哪些?超全的多模态大模型指南分享

    2024年多模态大模型成为AI领域最具前景的技术方向之一。文章全面分析了主流多模态大模型的特点、应用场景和发展趋势。多模态大模型能同时处理文本、图像、音频、视频等多种数据,实现更智能的人机交互。重点介绍了GPT-4V、Claude3.5、Gemini、通义千问等代表性模型,对比了它们在视觉理解、编程能力、中文处理等方面的优势。应用场景涵盖智能客服、内容创作、教育医疗等领域。未来发展趋势包括模型规模扩大、支持更多模态、实时交互能力提升等。选择模型需考虑应用需求、语言支持、性能成本等因素。

  • 6个AI大模型大战2025年高考数学新一卷:数学题推理能力均显著提升

    ​近日,随着高考的圆满结束,一场别开生面的“数学擂台赛”在各大AI大模型间悄然展开。多家知名科技公司的大模型被邀请参与2025年数学新课标Ⅰ卷中的14道客观题测试,以此检验它们在逻辑推理和数学能力上的实力。此次测试题目包含8道单选题、3道多选题以及3道填空题,满分设定为73分,且测试过程严格遵循高考判分原则,确保结果的公正性与准确性。 测试成绩揭晓�

  • 79.2元起 小米发布最新8折换电池机型:支持32款手机

    今日,小米公布7月服务周8折换电池最新机型,活动时间从即日开始至7月7日24:00结束。 本次折扣换电池服务支持32款手机,售价79.2元起,具体支持机型如下: REDMI REDMI 9A、REDMI 10A、REDMI 10X 4G、REDMI 10X 5G、REDMI Note 9 4G、REDMI Note 9、REDMI Note 9 Pro、REDMI Note 10、REDMI Note 10 Pro、REDMI K30、REDMI K30 5G、REDMI K30i、REDMI K30 Pro、REDMI K30至尊纪念版、REDMI K30S至尊纪念、REDMI K50、REDMI K50 Pro、REDMI

  • 模型推理协作正式开启,魔乐社区让模型跑遍“中国芯”

    魔乐社区启动"模型推理适配协作计划",旨在解决国产算力平台与大模型间的适配难题。该计划通过开源协作模式,联合开发者、芯片厂商等生态伙伴,构建从工具链到知识库的全栈支持体系,打造适配成果共享平台。重点支持开源大模型在国产硬件及多样化推理引擎上的高效运行,提供模型转换工具和优化指南,降低开发门槛。目前已有文心大模型4.5等首批适配成果�

  • 国内有哪些ai大模型?一文看懂中国核心AI大模型全景

    近两年中国AI大模型发展迅猛,已形成"通用+行业"双轨并进的生态格局。百度文心一言、阿里通义千问等通用大模型在中文理解、多模态生成等方面表现突出;深度求索DeepSeek以1/10参数实现GPT-4级推理能力;月之暗面Kimi以20万汉字上下文窗口领跑长文本处理;智谱AI的GLM-4成为首个支持视频对话的国产千亿模型。医疗、金融等垂直领域涌现出百川智能等专业模型,覆盖超1000家医院。开源生态加速国产芯片适配,15家厂商完成深度优化。行业应用方面,工程文档效率提升60%,24小时拟人化客服等案例凸显价值。未来趋势呈现模型蒸馏、端侧部署和开源生态三大方向,中国AI正从实验室走向产业变革前沿。

  • 预测大模型的工业生存法则,华为博士告诉你什么才是B端最需要的大模型!

    华为开发者大会2025期间,AI专家李良基与华为团队围绕预测大模型展开深度对话。华为提出"数据原子级表征体系"理念,旨在通过统一数据编码解决跨场景迁移难题。预测大模型已在钢铁行业成功应用,温度预测准确率远超传统方案。专家指出,AGI发展的核心在于构建知识迁移能力,未来将聚焦To B场景落地,通过统一架构实现跨领域泛化应用。华为云首创Triplet Transformer

  • 深耕垂直物联场景,萤石蓝海大模型2.0 升级引领行业再跃迁

    萤石网络发布蓝海大模型2.0,聚焦智能家居垂直领域。该模型具备三大核心能力升级:1)感知能力实现1200种目标识别,支持动物种类精细分类;2)理解能力支持多模态分析,包括视频、听觉及混合理解;3)记忆能力构建目标/设备/用户三维画像体系。作为行业首个家居专用大模型,已落地65款产品,服务调用量半年增长400%。同时推出EZVIZ HomePlay OS系统,开放软硬件能力,构建混合算力中心等基础设施,推动智能家居场景创新。在开发者大会上,萤石还展示了养老看护等碎片化场景解决方案,通过垂直领域深度优化实现低成本高效应用。

  • 梁实:第29次高考首日没发挥好

    58岁的高考钉子户”梁实通过微博发生,他表示,考完了语文、数学,结果有点失望,原本想的这两科能吃个220分左右,看来相当悬了,明天后天一点要稳住,稳不住就是500分要泡汤。 据了解,这是梁实第29次参加高考,对于外界的各种声音,他称自己不是炒作,付出了那么多时间,我就是不服气,不甘心。 资料显示,梁实于1967年出生于四川仁寿县,从1983年起,梁实开始报�

  • 小米 MIX Flip 2 小折叠手机发布:售价 5999 元起

    日晚间,小米人车家全生态发布会盛大举行,小米 MIX Flip2小折叠手机正式亮相,其口号“满分小折”彰显了小米对这款产品的自信。 小米 MIX Flip2小折叠手机定价5999元起,在配置上亮点颇多。它搭载了骁龙8至尊版处理器,性能强劲,为手机的流畅运行提供了坚实保障。同时,该机在小折叠手机领域实现了电池容量的重大突破,首次装载了5165mAh 小米金沙江电池,该电池含硅量