首页 > 业界 > 关键词  > Mistral最新资讯  > 正文

Mistral、AI2 发布新的开源 LLMs:更小,更便宜

2025-01-31 11:12 · 稿源:站长之家

站长之家(ChinaZ.com) 1月31日消息:Mistral AI 和 Allen 人工智能研究所今天发布了新的大型语言模型(LLM),它们声称这些模型在各自类别中属于最先进的。

mistral

Mistral 的模型被称为 Mistral Small 3,而 Allen 人工智能研究所(通常简称 Ai2)发布的则是 Tülu 3 405B。这两款模型都可以在开源许可下使用。

Mistral Small 3 包含 240 亿个参数,远少于市场上最先进的 LLM,这使得它在启用量化后足够小,可以在某些 MacBook 上运行。量化是一种调整模型的技术,旨在在降低硬件资源需求的同时,减少一些输出质量的损失。

在一次内部评估中,Mistral 将 Mistral Small 3 与 Meta Platforms Inc. 发布的开源 LLM Llama 3.3 70B Instruct 进行了对比,后者的参数量是前者的三倍多。Mistral Small 3 提供了与 Llama 3.3 70B 类似的输出质量,但响应速度显著更快。在另一项测试中,这款新模型比 OpenAI 的 GPT-4o mini 提供了更高的输出质量和更低的延迟。

开发人员通常通过创建一个基础模型来构建 LLM,然后使用多种不同的训练方法来细化其输出质量。在构建 Mistral Small 3 时,该公司开发了基础模型,但跳过了后续的细化过程。这使得用户可以根据项目需求自行微调 Mistral Small 3。

该公司预计开发人员将会把这款 LLM 应用于各种任务,特别是在需要低延迟执行外部应用程序任务的 AI 自动化工具中。该公司表示,其一些客户还在机器人技术、金融服务和制造业等行业特定用例中使用 Mistral Small 3。

「Mistral Small 3 是一款预训练和指令式模型,专为应对『80%』的生成式 AI 任务而设计——这些任务需要强大的语言能力和指令跟随性能,并且延迟非常低,」Mistral 的研究人员在博客中写道。

今天 Mistral Small 3 的发布恰逢 Ai2(一个非营利的 AI 研究机构)发布新的 LLM。Tülu 3 405B 是 Meta 去年 6 月发布的开源 Llama 3.1 405B 模型的定制版。在 Ai2 的测试中,Tülu 3 405B 在多个基准测试中超过了原始的 Llama 模型。

该研究小组使用一种它们在 11 月首次详细说明的开发流程创建了这个 LLM。该工作流结合了多种 LLM 训练方法,其中包括 Ai2 自家发明的一种方法。

该工作流的第一步是监督微调。这是一种训练方法,通过向 LLM 提供示例提示和相应的答案,帮助它学习如何响应用户查询。接下来,Ai2 使用了另一种名为 DPO 的训练技术,将 Tülu 3 405B 的输出与一组用户偏好进行对齐。

Ai2 还使用一种名为 RLVR 的内部开发的训练方法进一步优化了模型的能力。RLVR 是强化学习的一种变体,强化学习是广泛应用的 AI 训练技术。Ai2 表示,RLVR 可以使 AI 模型在解决数学问题等任务中表现得更好。

Tülu 3 405B 代表了「完全开放的后训练方法首次应用于最大开放权重模型」,Ai2 的研究人员在博客中写道。「通过这一发布,我们展示了我们在 405B 参数规模上应用后训练方法的可扩展性和有效性。」

举报

  • 相关推荐
  • o1开启LLM范式,Ai2科学家解析背后秘籍:推理和强化学习是关键

    关注NLP领域的人们,一定好奇「语言模型能做什么?」「什么是o1?」「为什么思维链有效?」在NeurIPS的LatentSpace非官方IndustryTrack上,Ai2研究科学家NathanLambert发表相关演讲,直接回答语言模型能否推理,以及o1和强化微调API给大家的启发。演讲内容亮点摘要:2025年,推理语言模型将取代后训练;强化学习训练不是后训练。他的谷歌总引用数为3459,但增长速度惊人:2024年比2023年翻了一番。

  • LLM推理暴涨,数学逻辑开挂! DeepSeek等华人团队大招,Ai2大牛狂点赞

    【新智元导读】DeepSeek团队最新力作一上线,就获得Ai2研究所大牛推荐,和DeepSeek铁粉们的热情研读!他们提出的CodeI/O全新方法,通过代码提取了LLM推理模式,在逻辑、数学等推理任务上得到显著改进。DeepSeek团队成员的一举一动,都颇受圈内关注。JunxianHe还曾在FacebookAI研究院和Salesforce研究院工作过一段时间。

  • 颠覆LLM格局,AI2新模型OLMo2,训练过程全公开,数据架构双升级

    【新智元导读】非营利研究机构AI2近日推出的完全开放模型OLMo2,在同等大小模型中取得了最优性能,且该模型不止开放权重十分大方地公开了训练数据和方法。非营利研究机构AI2上新了OLMo2系列模型,他们称之为「迄今为止最好的完全开源模型」。在这个生态系统中,新的训练方法和技术需要被理解和分享。

  • AI日报:对标Cursor!字节推AI编程工具Trae;MiniMax海螺语音全球上线;OpenAI将发布o3-mini

    欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/1、MiniMax海螺语音全球同步上线包含T2A-01-Turbo等模型2025年1月20日,上海稀宇科技有限公司旗下的MiniMax推出了全新升级的T2A-01系列语音模型,标志着其在语音合成技术上的又一重要进�

  • 小米AI眼镜提前至2发布!与小米15 Ultra同台亮相

    小米眼镜官微昨日已经上线,认证主体为小米通讯技术有限公司。小米AI眼镜已获得入网许可。新款的小米AI眼镜将加入大模型的加持,同时还将支持视频、照片的拍摄,甚至是智能识别显示场景等。

  • 小米15 Ultra 2月底发布:小米影像之光

    博主数码闲聊站表示,小米15Ultra会在2月底正式发布,这将是小米最强悍的影像旗舰。这款新品的看点之一是影像,该机配备徕卡四摄,包含5000万像素主摄、5000万直立长焦、2亿像素潜望长焦以及5000万像素超广角。小米15Ultra搭载高通骁龙8至尊版移动平台,支持超声波指纹识别,支持卫星通信,有两种型号,标准版型号是25019PNF3C,支持天通卫星通信,顶配版型号是25010PN30C,同时支持天通卫星通信和北斗三号短报文。

  • 春节后的第一款Ultra旗舰!华硕Zenfone 12 Ultra来了

    华硕宣布将于2月6日发布年度旗舰Zenfone12Ultra,这是春节后推出的第一款Ultra机型。根据Geekbench6跑分网站公布的信息,华硕Zenfone12Ultra型号是ASUSAI2501H,搭载高通骁龙8Elite处理器,配备16GB内存,预装Android15操作系统,单核成绩是3036,多核成绩是9656,是史上最强悍的华硕手机。华硕Zenfone12Ultra内置丰富的AI功能,包括AI语音降噪、AI即时通话翻译、AI录音笔记等等,大大提升用户的工作效率。

  • 小米15 Ultra、SU7 Ultra本月底发布!雷军:坚定不移走高端

    小米创办人雷军在公开平台发表言论,明确表示高端化是小米未来发展的必经之路。雷军语气坚定,表达了小米在推进高端化战略上的决心,强调公司将不畏损失、勇于牺牲,持续推进这一转型。小米15Ultra还配备了2K全等深四微曲屏幕,搭载了高通骁龙8至尊版移动平台,并标配卫星通信功能,堪称小米目前最强悍的影像旗舰。

  • 国产最强Ultra降临!小米15 Ultra相机参数曝光

    博主YogeshBrar在社交平台上曝光了小米15Ultra的相机参数。小米15Ultra后置徕卡四摄,主摄是索尼LYT900,像素数量是5000万,拥有1英寸超级大底,是目前综合实力最强的1英寸传感器。值得注意的是,小米15Ultra还将支持卫星通信,标准版支持天通卫星通话,顶配版支持天通卫星通话北斗卫星短信,新品会在本月底正式发布。

  • 雷军:小米SU7 Ultra和小米15 Ultra月底见

    随着农历新年的工作序幕正式拉开,小米公司迎来新年开工第一天。小米集团创始人雷军及其他高层管理人员亲自走进办公区,为每一位小米员工送上了寓意吉祥的开工红包,传递出公司对员工新年的美好祝愿与激励。小米15Ultra,则继续在手机领域深耕细作,以骁龙8至尊版处理器搭配徕卡四摄方案,特别是潜望长焦镜头升级至2亿像素,直立长焦镜头兼顾微距拍摄,全面提升了摄影体验,树立了新的影像旗舰标杆。

热文

  • 3 天
  • 7天