首页 > 业界 > 关键词  > Mistral最新资讯  > 正文

Nvidia 和 Mistral AI 的超精确小语言模型适用于笔记本电脑和 PC

2024-08-24 13:57 · 稿源:站长之家

站长之家(ChinaZ.com) 8月24日消息:NvidiaMistral AI 发布了一款新型的小型语言模型,据称该模型在小体积下依然具有「最先进」的准确性。该模型名为 Mistral-NemMo-Minitron 8B,是 NeMo 12B 的迷你版本,参数量从 120 亿缩减到了 80 亿。

英伟达

据 Nvidia 深度学习研究副总裁 Bryan Catanzaro 在博客文章中介绍,这款 80 亿参数的小型语言模型通过两种不同的 AI 优化方法实现了规模缩减。开发团队使用了结合剪枝和蒸馏的技术。「剪枝通过去除对准确性贡献最小的模型权重来缩小神经网络的规模。蒸馏过程中,团队在一个较小的数据集上重新训练了这个经过剪枝的模型,从而大幅提高了因剪枝导致的准确性下降。」

这些优化使得开发人员能够在「原始数据集的一小部分」上训练优化后的语言模型,从而在计算成本上节省高达 40 倍。通常情况下,AI 模型需要在模型规模和准确性之间进行权衡,但通过 Nvidia 和 Mistral AI 的新剪枝和蒸馏技术,语言模型可以同时兼顾这两者。

配备了这些增强功能的 Mistral-NeMo-Minitron 8B 据称在九项同类规模的语言驱动 AI 基准测试中表现出色。所节省的计算资源足以让笔记本电脑和工作站 PC 本地运行 Minitron 8B,使其比云服务更快且更安全。

Nvidia 围绕消费者级计算硬件设计了 Minitron 8B。该语言模型被封装为 Nvidia NIM 微服务,并针对低延迟进行了优化,以提高响应速度。Nvidia 通过其定制模型服务 AI Foundry,将 Minitron 8B 调整为能够在低配置设备(如智能手机)上运行。尽管性能和准确性可能略有下降,但 Nvidia 表示该模型仍然是高准确性的语言模型,并且只需极少的训练数据和计算资源

剪枝和蒸馏技术似乎是人工智能性能优化的下一前沿。理论上,开发者可以将这些优化技术应用于所有现有的语言模型,从而显著提升整体性能,包括那些只能由 AI 加速服务器群组运行的大型语言模型。

举报

  • 相关推荐
  • Intel至强6处理器又上新了:与NVIDIA AI GPU珠联璧合

    英特尔推出三款至强6系列AI专用处理器,采用P-Core性能核设计,支持PCT和SST-TF睿频技术,最高128核。新品专为AI系统优化,能动态分配CPU资源,显著提升GPU在高强度AI运算中的性能。其中6776P处理器已用于NVIDIA最新DGX B300 AI加速系统。新品还支持MRDIMM内存、CXL技术,PCIe通道数增加20%,并具备AMX高级矩阵指令集和FP16精度运算能力,专为最大化系统稳定性和AI工作负载设计。

  • 三星OLED 产品搭载NVIDIA G-SYNC技术,打造顶尖游戏体验

    三星2025款OLED产品将支持NVIDIA G-SYNC技术,提供165Hz高刷新率和Motion Xcelerator技术,实现无卡顿、低延迟的游戏体验。产品同时兼容AMD FreeSync Premium Pro,配备自动低延迟模式(ALLM)和AI游戏优化功能,可智能分析游戏场景并自动调节画质。通过三星游戏中心可一键直达主机和云游戏平台,搭载AI画质增强和防眩光技术,兼顾影院级视听效果与智能家居控制。该技术将率先应用于旗舰机型S95F,后续扩展至全系2025 OLED产品线。

  • RTX 5060/Ti重启黑屏有救了!NVIDIA发布紧急固件更新

    快科技5月25日消息,NVIDIA近期针对RTX 5060和RTX 5060 Ti显卡发布了一项紧急固件更新,旨在解决部分用户在重启系统时遇到的黑屏问题。这一问题自RTX 5060系列显卡发布以来一直困扰着部分用户,尤其是在系统重启时,显卡无法正常显示图像,导致用户无法正常使用。此次更新并非通过驱动程序发布,而是直接对显卡的vBIOS进行更新,NVIDIA强调,只有遇到黑屏问题的用户才需要更新固件,正常使用的设备无需进行此操作。NVIDIA的技术文档显示,黑屏问题可能是由于特定主板的BIOS/UEFI版本与新显卡的兼容性冲突所致。如果用户的主板不支持UEFI启

  • 首款鸿蒙笔记本电脑发布,生活办公有小艺开启智慧新体验

    5月19日,华为发布首款鸿蒙笔记本MateBook Pro,搭载鸿蒙操作系统5,实现AI能力与硬件、系统、应用的深度整合。该产品通过多种交互方式(语音、专属按键、屏幕触控等)提供便捷的AI助手"小艺"服务,支持文档摘要、翻译、PPT生成等办公功能,并能智能处理会议记录、文件搜索等场景。基于盘古大模型和DeepSeek双模型,小艺可自适应处理复杂问题,提供数据可视化、内容创作等专业支持。作为系统级智能体,小艺还能简化设备设置流程,实现多任务同步调节,显著提升办公效率。

  • 超擎数智协办的2025 NVIDIA 创业企业展示——澳门站“首秀”圆满收官!

    5月22日,2025 NVIDIA创业企业展示活动在澳门永利皇宫成功举办。活动聚焦AI智能体、物理AI和机器人等前沿技术,展示NVIDIA Omniverse、NIM等最新技术应用。超擎数智作为协办单位全程参与,其总经理唐春峰出席活动并担任路演评委。活动期间还启动了第三届NVIDIA DPU中国黑客松竞赛,旨在挖掘BlueField DPU在AI等领域的潜力。37家会员企业将在BEYOND EXPO展示创新成果。NVIDIA专家探讨了物理AI推动数字化转型的趋势,强调计算、存储和网络是AI基础设施的关键。活动为创业生态搭建了交流平台,促进AI技术商业化落地。

  • AI日报:腾讯语音数字人模型HunyuanVideo-Avatar;Trae国际版开启付费订阅模式;Claude网页搜索功能全面开放

    本文汇总了AI领域最新动态:1)腾讯开源数字人模型HunyuanVideo-Avatar,支持图像转视频创作;2)Trae国际版开启付费订阅,首月3美元;3)Claude网页搜索功能向免费用户开放;4)印度AI初创Builder.ai破产,亏损超5亿美元;5)腾讯元宝接入微信读书平台;6)快手计划加大AI投入但预计影响利润率;7)Mistral推出智能代理API;8)Claude移动端上线语音对话测试版;9)OpenAI拟推ChatGPT第三方登录功能;10)掘金发布AI项目一键部署工具;11)多模态模型视觉推理能力评估显示准确率仅25.8%;12)中石油发布3000亿参数昆仑大模型,推动油气产业智能化。

  • 苹果最强笔记本!MacBook Pro内测M3 Ultra芯片

    B站一位UP主在iOS18系统代码中发现了MacBook ProM3Ultra的踪迹。 目前苹果最高端的M3Ultra芯片仅在MacStudio上搭载,在售的MacBook Pro搭载的是M

  • 微星笔记本精彩Computex 2025:体验创新合作、CLAW新品进化

    2025年5月20日,微星科技将在台北电脑展Computex发布多款创新产品。重点包括:与Mercedes-AMG Motorsport联名的Stealth A16 AI+和Prestige 16 AI+笔记本,搭载最新处理器和显卡;全新CLAW 8系列掌机提供Intel/AMD双平台选择;采用RTX50系列显卡的新品将带来显著性能提升。微星还展示了13.9mm超薄概念笔记本和下一代商务本设计理念。此前获奖的泰坦18 Ultra龙魂典藏版等产品也将亮相。展会地点:台北南港展览中心1馆M0504展位。

  • AI日报:谷歌推最强AI全家桶Google AI Ultra;腾讯混元宣布模型矩阵全面升级;豆包·语音播客模型发布

    本文汇总了近期AI领域的重要动态:1)谷歌推出249.99美元/月的AI Ultra订阅计划,提供最强AI模型和高级功能;2)腾讯混元模型升级,新增视觉推理T1-Vision和语音对话模型;3)美图获阿里2.5亿美元投资,将在电商和AI领域合作;4)豆包推出语音播客模型,实现文本快速转音频;5)百度文心X1 Turbo获信通院最高评级;6)谷歌发布Flow AI剪辑工具,集成Veo3等三大模型;7)谷歌Veo3支持4K视频生成;8)Imagen4图像模型发布;9)Gemini2.5 Pro新增并行推理功能;10)谷歌推出虚拟试衣工具;11)公测AI编程助手Jules;12)苹果计划在iOS19开放AI模型;13)京东云推五大免费AI营销工具;14)字节开源多模态模型BAGEL;15)英伟达发布物理推理模型Cosmos-Reason1。

  • TradingView到AiCoin,WEEX用户尽享专业分析与高效交易

    5月28日,加密货币交易平台WEEX与行情分析平台AiCoin达成战略合作,实现行情数据与K线图的全面对接。此前WEEX已完成与TradingView的集成,为用户提供专业图表分析工具。WEEX成立于2018年,现支持15种语言,服务全球130多个国家超620万用户,合约交易量排名全球前十。平台设立1000BTC投资者保护基金,定期公布储备金证明(PoR)。此次合作将借助AiCoin的专业数据和分析工具,提升用户�