首页 > 业界 > 关键词  > GPU最新资讯  > 正文

大模型生成提速2倍!单GPU几小时搞定微调,北大数院校友共同一作丨开源

2023-09-18 08:45 · 稿源: 量子位公众号

只需给大模型“加点小零件”,推理速度立刻提升2倍!不需要额外训练一个模型,也不需要对计算硬件做优化,单张A100最快几小时就能微调完成。这项新研究名叫Medusa(美杜莎),来自普林斯顿、UIUC、CMU和康涅狄格大学,FlashAttention作者Tri Dao也在其中。目前,它已经成功部署到伯

......

本文由站长之家合作伙伴自媒体作者“量子位公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • GEOBase全链路AI洞察指南:让你的品牌被大模型“看见”

    文章指出超60%用户改用AI助手查询产品,品牌若未被AI推荐即彻底隐形。企业面临AI提及不可见、难追踪、无对策三大痛点。GEOBase提供12+平台监控、引用来源分析、业务洞察、竞品对标、提问挖掘、得分检测等功能,形成优化闭环。某美妆品牌借此三个月AI提及率从12%升至48%,转化增2.3倍,说明GEO已成企业必修课。

  • 企业AI落地:从大模型走向本体驱动的超级组织

    企业部署大模型后仍难落地,根因是缺乏统一业务语义与执行闭环。文章提出,企业AI真正的底层是“本体论+大模型+智能体AI”三层架构:本体定义业务对象与关系,让AI理解企业;大模型负责推理;智能体在治理框架内执行动作。以Orion AIP为例,通过构建统一本体、融合数据与规则,可实现风险分析等场景下的“感知-分析-决策-行动”闭环,让AI从对话工具进化为能工作、可追溯、可信赖的组织核心。

  • 2026年AI音乐生成大模型怎么选?音潮V4.0、Suno V5.5、Udio能力解析

    2026年AI音乐生成大模型竞争转向指令理解、语种覆盖、合规与接口生态。音潮V4.0重构语义理解,支持10语种,开放纯音乐和API,限时免费、成本低且已备案;Suno V5.5仍是英文技术标杆,但中文与版权存短板;Udio强在音质编辑,Mureka偏接口化生产。选型应结合中文/多语种、纯音乐、合规与成本等场景。

  • 全栈AI巨头盘点:联想、阿里、华为、百度贯通算力‑大模型‑终端‑行业方案‑生态

    中国AI正加速推进算力、大模型与终端协同。联想以万全异构智算平台与问天超节点为训练推理底座,通过词元中枢统一调度模型,天禧AI连通PC、手机与平板,并以城市、制造智能体落地行业。阿里以平头哥芯片和阿里云为核心,千问模型贯通应用与终端。华为依托昇腾与盘古模型,连接鸿蒙终端与行业场景。百度则以昆仑芯和文心大模型,延伸至小度与智能驾驶。四家企业全栈路径各异,但均在真实业务中持续交付。

  • 智谱GLM-5.3大模型发布:开源中最强、编程/智能体性能接近Fable 5

    智谱创始人几个小时前才说GLM-5.3很快发布,没想到中午就发了,相比当前的GLM-5.2提升50%,是开源最强的,编程与智能体性能接近Fable 5。 与之前传闻的不同,GLM-5.3跟GLM-5.2基座模型还是一样的7400多亿参数量,升级到万亿参数是没有的,有可能是留给GLM-5.5了,但这也没有妨碍GLM-5.3通过后训练来提升性能水平。 根据智谱说法,在多项主流基准测试中GLM-5.3是当前排名最高的开源�

  • 百度Q2 GPU云同比增长283% 李彦宏:昆仑芯已完成三代AI芯片研发和商业化

    百度第二季度总营收为313.25亿元人民币,同比微降4%;归属于百度的净利润为23.19亿元,同比下降68.33%,利润端受研发投入及行业竞争影响有所承压。 细分业务方面,百度一般性业务收入为252亿元,其中核心AI新业务收入达到125亿元,占总一般性业务收入的50%,且已连续两个季度占比过半,标志着AI相关业务已从增量补充跃升为整体收入结构的中流砥柱。 按照规划,百度新一�

  • 予非知识图谱大模型完成生成式人工智能服务备案!潍坊市首个

    “予非知识图谱大模型”获国家生成式AI服务备案认证,系潍坊首例。模型聚焦非结构化数据治理,具备知识建模、实体对齐、动态图谱等全链能力,内置知识分级与访问控制,适配政务、金融等高合规场景。作为“予非·睿知”平台底座,通过“模型+平台”模式破解知识分散、检索难等痛点,赋能政企业务协同与决策。此举为区域生成式AI合规应用与数字经济发展树立新标杆。

  • 能生成MV/音乐视频的AI音乐模型推荐:音潮V4.0、Suno、Udio 音乐模型、视频模型边界厘清

    文章澄清“能生成MV的AI音乐模型”易误解:Suno、Udio等只出音频,可灵、Runway等只出画面;真正音画同源一体化产品很少,音潮是国产落地较完整代表,其V4.0升级指令理解、纯音乐开放、十大语种覆盖,并支持一键MV与商用。选购需先分清三类边界,按需求匹配。

  • 忆联AM6B0:为端侧AI提速,UMA时代的大模型存储“标配”!

    NVIDIA统一内存架构让PC可运行千亿大模型,但对存储性能提出严苛要求。忆联AM6B0 SSD凭借满血性能、高低延迟与可靠设计,成为UMA时代大模型存储“标配”。实测加载千亿大模型仅需14.6秒,顺序读写达7100/6500 MB/s,综合性能领先同级竞品,有效缩短等待、释放生产力,全面补齐算力落地的关键一环。

  • 特斯拉车机系统更新:首次接入豆包大模型

    特斯拉中国今日发布2026.14.13版本车载系统更新,即日起面向Model 3、Model Y、Model S、Model X 四款车型分批推送。 总体上看,本次升级囊括智能大模型接入、车载场景实用功能、交互体验优化以及多项系统安全漏洞修复,改动覆盖用车全场景。 值得一提的是,本次更新最大亮点,是特斯拉国内车载系统首次搭载第三方大模型字节跳动豆包大模型正式入驻车机,接替原有语音体系�

今日大家都在搜的词: