首页 > AI头条  > 正文

360开源升级自研7B参数模型360Zhinao3-7B 各项能力全面提升

2025-05-07 08:12 · 来源: AIbase基地

360集团宣布开源升级了自研的7B参数模型360Zhinao3-7B,并已上线Github开源社区,可供免费商用。这一模型不仅在数学和科学领域表现出色,更在通用能力上展现了强大的潜力,尤其在端侧应用上具有显著优势。

在本次升级中,360Zhinao3-7B模型仅通过增量训练700B的高质量token,就取得了显著的效果提升,这相比前代模型360Zhinao2-7B的10.1T token成本大幅降低,且不会增加模型的推理成本。

微信截图_20250507081022.png

在数据筛选方面,360智脑团队加大了筛选力度,离线训练了多种数据筛选模型,对不同种类的数据进行分档打分,显著提升了数据质量。此外,他们还调整了数据配比,大幅增加了数学、代码、指令等数据的占比,降低了网页和书籍的占比,从而进一步提升了模型的指令遵循和推理能力。

360Zhinao3-7B模型还增加了长文本预训练阶段,将最大窗口长度从4k提升至32k,ROPE的base从1w改为100w。在长文本预训练阶段,团队增加了超长文本和长代码的比例,进一步优化了模型的长文本处理能力。

在模型效果方面,360智脑团队使用开源工具opencompass对模型进行了多维度评估。结果显示,360Zhinao3-7B模型在10B尺寸附近的模型中,具备较强的竞争力。在微调阶段,团队采用了多种策略,包括蒸馏、强化学习等,进一步提升了模型的性能。在长思维链训练中,360Zhinao3-7B模型经过四个阶段的训练,最终在数学和科学数据上展现了与从0训练的7B推理模型相当的竞争力,同时在通用多轮对话、角色扮演及复杂指令遵循上表现更为出色。

360智脑团队表示,360Zhinao3-7B模型的开源,旨在推动AI技术的发展,为开发者提供更强大的工具。该模型不仅适用于数学和科学领域,更在端侧应用上具有广泛的应用前景。

https://github.com/Qihoo360/360zhinao3

  • 相关推荐
  • 周鸿祎:准备干掉360整个市场部,每年能省几千万

    “听起来像天方夜谭,但这次我准备动真格的了。”周鸿祎说,要做一个挑战,一个人完成一场完整的新产品发布会……

  • AI日报:豆包大模型1.6发布;OpenAI推o3-pro模型o3价格暴降80%;Figma官方MCP重磅上线

    【AI日报】今日AI领域重要动态:1)火山引擎发布豆包大模型1.6和视频生成模型Seedance1.0pro,性能显著提升;2)OpenAI推出o3-pro模型,专注可靠性但响应较慢;3)Figma推出Dev Mode MCP服务,实现设计到代码一键转换;4)Krea AI发布图像生成模型Krea1,解决传统AI绘图问题;5)火山引擎豆包日调用量突破16.4万亿次;6)法国Mistral发布推理模型Magistral;7)苹果系统整合ChatGPT图像生成功能;8)OpenAI大幅下调o3价格80%并推出o3-pro;9)Hugging Face开源榜单显示中国团队Qwen与DeepSeek进入全球前15;10)阿里开源MaskSearch框架,提升AI解决复杂问题能力。

  • 周鸿祎:我要干掉360整个市场部 动真格的了

    360公司创始人周鸿祎宣布了一项惊人的决定:他准备干掉”整个市场部,以每年为公司节省数千万成本。 这并非戏言,而是他即将开启的一项前所未有的挑战独自完成一场完整的新产品发布会,以验证其最新研发的纳米AI超级搜索智能体的实力。 周鸿祎表示,过去一场发布会需要市场部数十人忙碌半月,而这次他决定亲力亲为,用五天时间独自筹备。 这场挑战的核心,是测

  • OpenAI 提升o3多模态模型推理实力,微美息(WIMI.US)加速引领产业新变革征程

    OpenAI推出突破性的o3推理模型,首次实现图像直接融入推理过程,在多模态基准测试V* Bench上准确率达95.7%。DeepSeek完成R1模型升级,上下文窗口从12K扩展至23K,幻觉率降低45%-50%。行业呈现开源趋势,DeepSeek开源策略促使多家企业跟进,OpenAI也考虑开源。微美全息加速布局多模态大模型,计划提供实时多模态AI体验。专家指出AI发展重心正从大模型向智能体演进,开源技术显著降低训练门槛,提升泛化能力,为多模态智能探索开辟新路径。企业需紧跟趋势把握机遇,在大模型驱动的新时代找准定位。

  • 1799元 小米屋路由BE3600 Pro网线版众筹:连接超300台蓝牙设备

    小米全屋路由BE3600+Pro套装5月19日开启众筹,售价1799元,包含1主4子路由器,专为预埋网线家庭设计。产品采用创新安装方案:主路由置于弱电箱,子路由通过预埋网线连接各房间86底盒,支持PoE供电技术实现免插电部署。性能方面搭载四核芯片,主/子路由分别配备512MB/256MB内存,全系2.5G网口,支持Wi-Fi7协议及MLO双频聚合技术,提供毫秒级无缝漫游。内置米家安全芯片,配备三层防护体系保障网络安全,家长可通过米家App管理儿童设备上网。系统支持本地化指令处理,内置蓝牙Mesh网关可连接300+智能设备,特别适合已预埋或计划预埋网线的家庭用户。

  • 百万级豪车价值标杆!尊界S800上市7天大定破3600台

    据悉,尊界S800是鸿蒙智行打造的迄今最贵的单品车型,共分为6个版本,售价区间70.8万元至101.8万元。 尊界S800上市1小时大定就突破1000台,上市24小时大定突破1600台,上市48小时大定破2100台,72小时大定破2600台。 余承东表示:70%订单为百万顶配。 此外,尊界S800集成各种顶尖科技,竞争对手直指传统豪华品牌,如奔驰、宝马和奥迪的S级、7系以及A8L。 相较于它们,S800最大的

  • o3模型的“叛变”:拒绝人类“中断”命令、自行篡改内部代码

    o3 出现了“叛变”的情况:其他模型都中止了解题任务,唯独 o3 模型继续进行,甚至还被发现篡改了内部代码 —— 将“接到中断命令时应停止操作”的程序逻辑改成了“跳过中断命令”……

  • 解码AI时代智能营销新范式:360智慧商业成功举办行业二部客户私享会

    5月21日,360智慧商业举办行业二部客户私享会,以《AI领航,破界增长》为主题,聚焦教育、金融、旅游等行业头部客户,共同探讨AI技术赋能、流量深耕与智能生态等热点话题。360集团副总裁黄剑出席并分享安全、PC营销、纳米AI等重点业务战略,强调安全业务是集团基石,2025年起将通过SaaS模式为中小企业提供360安全云等企业级服务。会议指出,AI时代PC价值重获关注,360将联合开发者、广告主等打造PC第一分发平台,构建繁荣商业生态。同时,360全面升级互联网广告产品AI化改造,优化素材生成、投放算法等环节,并探索纳米AI等新变现模式。纳米AI搜索集成16家大模型能力与140多个工具,突破传统搜索边界,实现"搜索-执行-交付"闭环,助力合作伙伴提升转化率。360智慧商业将持续深化AI原生工具与全域生态协同,助力广告主实现长效价值跃迁。

  • 微软宣布球裁员超 6000 人,占比约 3%

    这将是该公司自 2023 年裁员 10000 人以来最大规模的裁员之一……

  • AI日报:通义千问开源Qwen3向量模型;字节跳动图像编辑模型SeedEdit 3.0;ElevenLabs推v3语音模型

    本文汇总了近期AI领域的重要动态:1)通义千问发布Qwen3-Embedding系列模型,在多语言文本处理表现优异;2)字节跳动推出图像编辑模型SeedEdit3.0,提升细节保持能力;3)ElevenLabs发布情感语音合成系统Eleven v3 Alpha;4)Anthropic推出面向国家安全的Claude Gov模型;5)可灵AI月收入连续两月超1亿元;6)Meta公布智能眼镜Aria Gen2技术细节;7)爱诗科技上线AI视频工具"拍我AI";8)富国银行预测2030年ChatGPT广告收入将达千亿美元。

今日大家都在搜的词: