首页 > 业界 > 关键词  > Mistral最新资讯  > 正文

Nvidia 和 Mistral AI 的超精确小语言模型适用于笔记本电脑和 PC

2024-08-24 13:57 · 稿源:站长之家

站长之家(ChinaZ.com) 8月24日消息:NvidiaMistral AI 发布了一款新型的小型语言模型,据称该模型在小体积下依然具有「最先进」的准确性。该模型名为 Mistral-NemMo-Minitron 8B,是 NeMo 12B 的迷你版本,参数量从 120 亿缩减到了 80 亿。

英伟达

据 Nvidia 深度学习研究副总裁 Bryan Catanzaro 在博客文章中介绍,这款 80 亿参数的小型语言模型通过两种不同的 AI 优化方法实现了规模缩减。开发团队使用了结合剪枝和蒸馏的技术。「剪枝通过去除对准确性贡献最小的模型权重来缩小神经网络的规模。蒸馏过程中,团队在一个较小的数据集上重新训练了这个经过剪枝的模型,从而大幅提高了因剪枝导致的准确性下降。」

这些优化使得开发人员能够在「原始数据集的一小部分」上训练优化后的语言模型,从而在计算成本上节省高达 40 倍。通常情况下,AI 模型需要在模型规模和准确性之间进行权衡,但通过 Nvidia 和 Mistral AI 的新剪枝和蒸馏技术,语言模型可以同时兼顾这两者。

配备了这些增强功能的 Mistral-NeMo-Minitron 8B 据称在九项同类规模的语言驱动 AI 基准测试中表现出色。所节省的计算资源足以让笔记本电脑和工作站 PC 本地运行 Minitron 8B,使其比云服务更快且更安全。

Nvidia 围绕消费者级计算硬件设计了 Minitron 8B。该语言模型被封装为 Nvidia NIM 微服务,并针对低延迟进行了优化,以提高响应速度。Nvidia 通过其定制模型服务 AI Foundry,将 Minitron 8B 调整为能够在低配置设备(如智能手机)上运行。尽管性能和准确性可能略有下降,但 Nvidia 表示该模型仍然是高准确性的语言模型,并且只需极少的训练数据和计算资源

剪枝和蒸馏技术似乎是人工智能性能优化的下一前沿。理论上,开发者可以将这些优化技术应用于所有现有的语言模型,从而显著提升整体性能,包括那些只能由 AI 加速服务器群组运行的大型语言模型。

举报

  • 相关推荐
  • 超擎数智协办的2025 NVIDIA 创业企业展示——澳门站“首秀”圆满收官!

    5月22日,2025 NVIDIA创业企业展示活动在澳门永利皇宫成功举办。活动聚焦AI智能体、物理AI和机器人等前沿技术,展示NVIDIA Omniverse、NIM等最新技术应用。超擎数智作为协办单位全程参与,其总经理唐春峰出席活动并担任路演评委。活动期间还启动了第三届NVIDIA DPU中国黑客松竞赛,旨在挖掘BlueField DPU在AI等领域的潜力。37家会员企业将在BEYOND EXPO展示创新成果。NVIDIA专家探讨了物理AI推动数字化转型的趋势,强调计算、存储和网络是AI基础设施的关键。活动为创业生态搭建了交流平台,促进AI技术商业化落地。

  • 华为云盘古预测大模型首创 Triplet Transformer 统一预训练架构

    6月20日,华为发布盘古大模型5.5,五大基础模型全面升级。该模型采用业界首创的Triplet+Transformer统一预训练架构,能跨行业处理表格数据、时间序列数据和图片数据,显著提升预测精度和泛化能力。已在水泥、钢铁、电解铝、供热等多个工业场景落地应用:海螺水泥实现熟料强度预测,宝武钢铁高炉出铁温度合格率超90%,云南铝业年省电2600万度,天津供热能耗降低10%。模型聚焦工业领域,通过工艺优化和系统寻优,助力企业降本增效,推动行业智能化转型。

  • 微星笔记本RTX50媒体交流会+昆山工厂行回顾:创新+品质服务玩家

    618电商大促期间,微星笔记本在昆山工厂举办RTX50系列新品媒体交流会,展示多款游戏本新品。旗舰产品泰坦18 Ultra龙魂典藏版采用独特金属龙纹设计,搭载最新RTX50系列显卡和酷睿Ultra/锐龙9000HX处理器平台,性能显著提升。主流价位段推出RTX5070/5060游戏本,配备DLSS4技术提升流畅度。同时发布星影Air/Thin轻薄本系列和CLAW掌机新品,后者采用AMD锐龙Z2 Extreme处理器。微星强调严格品控,昆山工厂实现高度自动化生产,通过多道检测确保产品质量。活动还邀请媒体参观生产线,展示从备料、组装到检测的全流程精细化管理。

  • DigitalOcean 携手 AMD 推出 AMD Instinct MI300X GPU Droplet,加速 AI 创新

    DigitalOcean与AMD达成合作,将推出搭载AMD Instinct MI300X GPU的云服务器,支持AI/ML/HPC工作负载。该GPU具备192GB HBM3内存,能完整加载数十亿参数模型,显著提升训练和推理效率。服务定价每小时1.99美元起,支持1-8个GPU配置,并与Kubernetes无缝集成。未来还将推出MI325X GPU,并面向中国市场提供服务。此次合作旨在为开发者提供经济高效的AI开发解决方案,简化云端GPU部署流程。

  • 华为MateBook Pro鸿蒙笔记本今日开售:7999元起

    在轻薄便携方面,华为MateBook Pro鸿蒙笔记本同样表现出色。其重量仅970g,得益于全新一代华为云隼架构的应用,包括低晶铝键盘底板、元器件减重工艺以及主板线路镂空设计,不仅优化了性能释放,还大幅减轻了整机重量。键盘布局上,原本属于Win键的位置被替换为圆形的鸿蒙键,用户可一键打开鸿蒙开始菜单;而右侧Alt键旁边则新增了小艺智慧键,一键即可唤醒小艺助手,提

  • AI日报:ChatGPT支持MCP和会议记录功能;Cursor 1.0 版本重磅发布;Midjourney视频功能将在本月上线

    本期AI日报聚焦多项AI领域突破:1)OpenAI为ChatGPT新增企业数据连接和会议记录功能;2)Cursor 1.0发布集成BugBot等开发工具;3)Midjourney即将推出视频生成功能;4)秘塔AI搜索新增PPT导出功能;5)Manus推出文本生成视频工具挑战Sora;6)法国Mistral发布企业级编程助手;7)英伟达推出文档处理专用AI模型;8)腾讯公益引入大模型提升互动体验;9)Firecrawl推出网页抓取API工具;10)Bland AI实现超真实语音克隆;11)报告显示AI训练成本逼近百亿美元;12)开源设计工具Jaaz支持批量图像生成;13)《逆水寒》手游接入AI实现图片动效玩法。

  • AI日报:Midjourney重磅推出视频生成模型V1;OpenAI将在今年夏季发布GPT-5;谷歌推Search Live语音搜索功能

    本期AI日报聚焦多项AI领域重要进展:1) Midjourney推出首款视频生成模型V1,支持21秒视频生成;2) OpenAI CEO确认GPT-5将于今夏发布;3) Google上线语音对话搜索功能Search Live;4) OpenAI开源客户服务代理框架;5) MiniMax发布智能代理Agent;6) 恶意工具WormGPT出现新变种;7) OpenAI推出企业版ChatGPT折扣;8) DeepSite V2支持3D网页动画生成;9) AI工具可秒变PPT;10) 比亚迪与字节跳动合作开发动力电池技术;11) 马斯克否认xAI巨额亏损传闻。

  • AI日报:MiniMax推视频生成模型Hailuo 02;Cursor Pro取消500次请求限制;谷歌发布AI模型 Gemini 2.5 Flash-Lite

    本文汇总了AI领域最新动态:1)Cursor Pro取消500次请求限制;2)稀宇科技推出视频生成模型Hailuo02;3)谷歌发布轻量级AI模型Gemini2.5Flash-Lite;4)科大讯飞星火X1升级版7月上线;5)腾讯元宝推出AI编程模式;6)OpenAI将下架GPT-4.5 API;7)苹果Speech API转录速度超Whisper 55%;8)百度推出数字人互动直播间;9)Meta曾试图高薪挖角OpenAI人才;10)Krea1公测开放,解决"AI感"问题;11)特斯拉Grok车载AI助手即将上线;12)谷歌Gemini新增视频分析功能。

  • AI日报:夸克发布首个高考志愿大模型;Trae月活跃用户破100万;Manus推出免费无限聊天模式

    【AI日报】今日AI领域热点速览: 1. 夸克APP推出高考志愿大模型,免费提供个性化填报指导 2. Manus AI开放免费无限聊天模式,挑战行业巨头 3. Trae开发者平台月活破百万,累计交付60亿行代码 4. 迪士尼环球起诉Midjourney侵犯影视版权 5. 维基百科暂停AI生成摘要实验 6. 360发布"纳米AI超级搜索智能体",内置80多款大模型 7. PartCrafter项目实现单张图片生成高精度3D模型 8. Meta推出AI视频编辑工具,支持50多种预设效果 9. 阿里工程师放弃春节假期全力追赶DeepSeek技术 10. 火山引擎发布PromptPilot智能提示优化平台 11. OpenAI洽谈400亿美元融资,拓展AI生态系统 12. 新一代o3-pro推理模型发布并调整API定价策略

  • Reddit 起诉 Anthropic,称其未支付AI训练数据费用

    OpenAI 首席执行官山姆·奥特曼(Sam Altman)持有 Reddit 8.7% 的股份,是该公司第三大股东,并曾是 Reddit 董事会成员……