首页 > 业界 > 关键词  > 大模型最新资讯  > 正文

2080 Ti就能跑70B大模型,上交大新框架让LLM推理增速11倍

2023-12-21 08:49 · 稿源: 量子位公众号

原本需要一张16万元的80G A100干的活,现在只需要一张不到2万元的24G4090就够了!上海交大IPADS实验室推出的开源推理框架PowerInfer,让大模型推理速度加快了11倍。而且不用量化,就用FP16精度,也能让40B模型在个人电脑上运行;如果加入量化,2080Ti也能流畅运行70B模型。结合大模型

......

本文由站长之家合作伙伴自媒体作者“量子位公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 改写语音交互行规,豆包大模型更稳了

    豆包大模型,又上新了。 2026年4月9日,原生全双工语音大模型Seeduplex正式发布,相比上一代半双工豆包端到端语音模型,新模型基于“边听边说”的全新框架设计,交互体验的自然感、顺畅度大幅提升,目前已在豆包App全量上线。 这意味着,前沿的全双工语音技术,第一次实现商业规模化落地。 而依托全双工语音技术,豆包的语音交互不再是机械式的一问一答,而是收放�

  • 百度文心大模型5.1正式发布

    百度正式发布了新一代基础大模型——文心大模型5.1。该模型采用了自主研发的“多维弹性预训练”技术,仅以业界同规模模型约6%的预训练成本,便达到了基础效果领先的水平,并登上LMArena搜索榜国内第一的位置。 在多项行业权威基准测试中,文心5.1在智能体、知识理解、逻辑推理以及深度搜索等核心能力上表现突出。其中,智能体能力提升显著,已超越DeepSeek-V4-Pro;创意�

  • 小米自研AI大模型!Xiaomi MiMo再次登顶全球第一

    小米官方今天发文宣布,小米技术官方宣布,在OpenRouter平台最新数据中,Hermes Agent登顶全球调用量榜首,日Token调用量达2910亿,周调用量超1.75万亿。 小米自研MiMo模型成为第一大贡献模型,近一个月累计贡献1.45万亿Token调用量。

  • 普渡机器人正式发布具身智能大模型PuduFM 1.0

    2026年5月11日,普渡机器人发布具身智能大模型PuduFM1.0,构建三维空间深度感知、物理状态预测和持续进化学习三大技术维度,实现从“简单执行”向“物理认知”的跨越。该模型通过分层架构和虚实双数据闭环,解决行业在协作、操作和异构数据复用上的困境,支持超长程任务和异构机器统一运行,推动具身智能规模化落地。

  • AI日报:腾讯发布设计智能体Ardot;千问5月20日将发布重大模型;OpenAI推出ChatGPT个人理财工具

    本期AI日报聚焦八大热点:腾讯发布AI设计平台Ardot,一句话生成可编辑设计稿并一键转代码;通义千问“重量级”大模型将于5月20日阿里云峰会亮相,实现全面升级;AI大模型在基层警务中落地,豆包助力破获柴油盗窃案;Google I/O大会将推出Gemini 4.0等创新产品;索尼澄清Xperia 1XIII的AI相机助手仅提供拍摄建议;OpenAI推出ChatGPT个人理财工具,结合GPT-5.5支持连接银行账户;中国大模型周调用量连续三周超越美国,腾讯Hy3 preview以2.66万亿Token领先;红果短剧回应取消AI仿真人剧本保底传闻,称部分剧本仍保留保底政策。

  • 告别价格战,大模型共迎通胀时代

    眼下,涨价成为大模型的关键词。 迈入2026年,大模型不再是优惠缩水,而是毫不掩饰地开启了涨价模式,大大小小的厂商纷纷入局,智普甚至在短短三个月之内两次提价。 以至于,国产大模型定价首次与海外头部厂商对齐。 大模型涨价,是昙花一现还是旷日持久?降价争夺市场的打法,是否走到了尽头?价值战会成为未来竞争的核心叙事吗?

  • 华为HMS for Car北京车展实车体验,海外AI大模型上线

    在2026年北京车展上,华为HMS for Car推出全新升级的一站式座舱生态解决方案,以AI为核心,整合AI Box、Map Box、Service Box和Net Box四大模块,解决海外市场地图更新滞后、多语言适配成本高、生态适配难和跨国网络接入管理等痛点。AI Box搭载大模型,支持多语言语音交互,Map Box提供实时导航,Service Box聚合全球生态,Net Box确保稳定连接,助力中国车企降低研发成本,加速全球化布局。

  • AI日报:千问PC端上线AI语音输入;字节发布全模态大模型Doubao-Seed-2.0-lite;谷歌更新AI搜索功能

    本期AI日报涵盖多项重要进展:千问PC端上线AI语音输入,提升办公效率;字节跳动发布全模态大模型Doubao-Seed-2.0-lite,实现视频、图像、音频与文本统一理解;腾讯联合多所高校推出开源多模态深度搜索智能体方案OpenSearch-VL;月之暗面申请“KimiClaw”商标,或涉硬件领域;Mininglamp开源Cider和Mano-P,打造本地AI工作站;OpenAI携手硬件巨头发布MRC协议,解决GPU闲置浪费;谷歌升级AI搜索功能,整合Reddit等社交观点;xAI推出Grok Imagine API质量模式,提升图像生成写实度。

  • 北京亦庄设立大模型生态服务站 助力AI产业合规发展

    2026年4月,经北京市网信办认定,亦庄模数世界大模型生态服务站正式成立,为企业提供公益大模型备案辅导、产业生态对接等一站式服务。该站由市网信办授权、经开区信息技术产业局指导、北京国际算力服务公司运营,采用“1对1精准陪跑+集中培训”模式,可将备案周期压缩50%以上,解决企业合规认知不足等行业痛点。同时,经开区对完成备案的优质大模型企业给予100万元专项奖励及1亿元算力、模型、数据券等支持,常态化开展合规培训与产业对接,助力北京经开区加快构建全域人工智能之城。

  • 百度智能云联合中国信通院共建AI终端生态 加速大模型落地消费电子

    5月14日,百度智能云联合中国信通院等30余家单位发起“智能终端大模型生态加速社区”倡议,推动消费电子产业在大模型时代实现生态协同、技术共创与标准共建。随着AI技术演进,智能终端正从功能设备向“智能伙伴”转型,但面临互联互通不足、开发门槛高、标准体系不完善等问题。社区将围绕技术攻关、市场研究、标准落地、测试认证、场景孵化、交流联动六大方向建设,通过开放协同机制降低创新门槛,打造开放、兼容、安全、普惠的AI终端生态,促进全产业链协同发展。

今日大家都在搜的词: