首页 > 业界 > 关键词  > 大模型最新资讯  > 正文

2080 Ti就能跑70B大模型,上交大新框架让LLM推理增速11倍

2023-12-21 08:49 · 稿源: 量子位公众号

原本需要一张16万元的80G A100干的活,现在只需要一张不到2万元的24G4090就够了!上海交大IPADS实验室推出的开源推理框架PowerInfer,让大模型推理速度加快了11倍。而且不用量化,就用FP16精度,也能让40B模型在个人电脑上运行;如果加入量化,2080Ti也能流畅运行70B模型。结合大模型

......

本文由站长之家合作伙伴自媒体作者“量子位公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 凯迪拉克VISTIQ亚洲首秀,搭载Momenta飞轮大模型定义豪华纯电智能出行

    4月23日,凯迪拉克在上海举办"心驰·电掣"发布会,推出亚洲首秀的VISTIQ车型。该车与Momenta深度合作,采用行业首个量产飞轮大模型技术,实现L2全场景城区辅助驾驶功能,提供"有路就能开,有位就能停"的智能体验。凯迪拉克强调不应通过堆砌硬件实现智能化,而需技术创新与用户体验并重。此次合作展现了凯迪拉克拥抱智能化的决心,也彰显了Momenta在自动驾驶领域的技术领先地位。双方将共同推动豪华纯电出行的智能化升级。

  • 音箱智商史诗升级 AI大模型渗透率已超20%

    目前上市的新品已经全面搭载AI大模型技术,例如小度大金刚Pro和小米智能音箱等搭载大模型技术的新品在4月上市,兼顾了声学、美学和语音技术的多方面升级。

  • 易鑫宣布年内推出汽车金融行业首个Agentic大模型

    4 月15日,易鑫(02858.HK)在香港举行的“2 025 世界互联网大会亚太峰会”上宣布,将于年内推出汽车金融行业首个Agentic大模型。该模型通过自主决策智能体深度结合汽车金融场景需求,有望从根本上解决行业中长期存在的效率瓶颈和痛点。易鑫首席AI科学家、高级副总裁张磊现场演讲易鑫首席AI科学家、高级副总裁张磊在大会“人工智能大模型论坛”做主题演讲时,发布了这�

  • 不要思考过程,推理模型能力能够更强

    UC伯克利和艾伦实验室的最新研究表明,推理模型无需依赖冗长的思考过程也能有效工作。研究人员提出的"无思考(NoThinking)"方法通过简单提示直接生成解决方案,跳过了传统推理模型中的显性思考步骤。实验证明,在低资源(低token数量、少模型参数)或低延迟情况下,NoThinking方法的表现优于传统思考方式,能减少token使用量并提高推理速度。该方法在数学问题解决、编程和形式定理证明等任务中表现优异,尤其在资源受限时优势更明显。研究还发现,结合并行计算扩展后,NoThinking能进一步提升性能,在保持准确性的同时显著降低延迟和计算成本。这一发现挑战了"推理模型必须依赖详细思考过程"的传统认知。

  • 国产六大推理模型激战OpenAI?

    2025年春节前夕,DeepSeek-R1模型发布,标志着中国AI进入推理模型新时代。文章梳理了国产大模型发展历程:从2022年ChatGPT引发国内追赶OpenAI热潮,到2023年"百模大战",再到2024年"AI六小虎"格局形成。重点分析了六大国产推理模型(DeepSeek、百度、阿里、科大讯飞、字节、腾讯)的技术特点与市场表现,指出国产模型在性能上已接近GPT-4水平。特别强调科大讯飞星火X1凭借全国产化技术路线获得政企青睐,以及DeepSeek-R1以560万美元超低成本实现高性能的突破。文章还探讨了英伟达芯片断供危机下,国产全栈技术路径的重要性,认为自主可控将成为对抗国际不确定性的关键。最后指出,随着推理模型成为竞争焦点,国产大模型正从技术追随转向自主创新阶段。

  • 刚刚,商汤发布第六代大模型:6000亿参数多模态MoE,中长视频直接可推理

    现在的国产AI应用,一口气看好几分钟的视频,都可以直接做推理和解析了!瞧~只需“喂”上一段柯南片段,AI就摇身一变成“名侦探”做剖析:它会对整个视频的内容先做一个总结,再按照秒级,对视频片段做内容上的推演。商汤科技联合创始人杨帆认为:银河通用合伙人、大模型负责人张直政表示:除此之外,上海交通大学副教授闫维新对这个问题的看法是:总言之,商汤作为国�

  • 合合信息发布“大模型加速器 2.0”,助力大模型跨越“幻觉”障碍

    近日,上海合合信息科技股份有限公司(简称“合合信息”)TextIn“大模型加速器 2.0”版本正式上线,凭借其多维度升级,为降低大模型“幻觉”风险、推动大模型精准应用提供了强大助力。训练数据是影响大模型“认知能力”的关键,合合信息“大模型加速器 2.0”基于领先的智能文档处理技术,从数据源头入手,对复杂文档的版式、布局和元素进行精准解析及结构化处理,

  • 首次亮相“世界互联网大会亚太峰会”,易鑫宣布年内发布业内首个Agentic大模型

    4 月 14 日至 15 日,由世界互联网大会主办、香港特别行政区政府承办的“世界互联网大会亚太峰会”在香港举行。AI驱动的金融科技平台易鑫(02858.HK)首度亮相该峰会,宣布将于年内推出汽车金融行业首个Agentic大模型。易鑫首席AI科学家、高级副总裁张磊演讲现场此次峰会全面聚焦人工智能,以“数智融合引领未来——携手构建网络空间命运共同体”为主题,被视为亚太地区

  • 联发科天玑9400+拿下最强AI手机芯片:端侧推理准确率反超云端大模型

    今日,联发科举办天玑开发者大会2025,正式发布新一代旗舰芯片天玑9400。天玑9400定位旗舰5G智能体AI芯片,综合AI跑分是天玑9400的1.25倍,支持最高8B规模的DeepSeek-R1端测部署,推理准确率反超云端大模型。天玑9400采用台积电第二代3nm工艺,CPU架构延续创新全大核设计,包含1颗主频3.7GHz的Cortex-X925超大核、3颗3.3GHz的Cortex-X4大核与4颗2.4GHz的Cortex-A720大核。

  • AI日报:小米首个推理大模型开源Xiaomi MiMo;快手上线AI笔记工具“喵记多”;腾讯拆分AI团队

    本文汇总了AI领域最新动态:1)小米开源70亿参数大模型Xiaomi MiMo,在数学推理和代码竞赛中超越OpenAI和阿里模型;2)快手推出AI笔记工具"喵记多",简化笔记管理;3)Luma AI发布电影级镜头控制API,降低视频生成门槛;4)腾讯重组AI团队,加大语言模型研发投入;5)Anthropic为Claude引入新语音"Glassy";6)谷歌NotebookLM新增50+语言音频概述功能;7)xAI将发布Grok3.5模型;8)Meta推出独立AI助手应用挑战ChatGPT;9)OpenAI紧急修复GPT-4o"谄媚"问题;10)Mac本地AI助手Simular升级隐私保护;11)CameraBench项目帮助AI理解镜头运动;12)谷歌推出个性化语言学习AI工具。