360集团宣布开源升级了自研的7B参数模型360Zhinao3-7B，并已上线Github开源社区，可供免费商用。这一模型不仅在数学和科学领域表现出色，更在通用能力上展现了强大的潜力，尤其在端侧应用上具有显著优势。
在本次升级中，360Zhinao3-7B模型仅通过增量训练700B的高质量token，就取得了显著的效果提升，这相比前代模型360Zhinao2-7B的10.1T token成本大幅降低，且不会增加模型的推理成本。
在数据筛选方面，360智脑团队加大了筛选力度，离线训练了多种数据筛选模型，对不同种类的数据进行分档打分，显著提升了数据质量。此外，他们还调整了数据配比，大幅增加了数学、代码、指令等数据的占比，降低了网页和书籍的占比，从而进一步提升了模型的指令遵循和推理能力。
360Zhinao3-7B模型还增加了长文本预训练阶段，将最大窗口长度从4k提升至32k，ROPE的base从1w改为100w。在长文本预训练阶段，团队增加了超长文本和长代码的比例，进一步优化了模型的长文本处理能力。
在模型效果方面，360智脑团队使用开源工具opencompass对模型进行了多维度评估。结果显示，360Zhinao3-7B模型在10B尺寸附近的模型中，具备较强的竞争力。在微调阶段，团队采用了多种策略，包括蒸馏、强化学习等，进一步提升了模型的性能。在长思维链训练中，360Zhinao3-7B模型经过四个阶段的训练，最终在数学和科学数据上展现了与从0训练的7B推理模型相当的竞争力，同时在通用多轮对话、角色扮演及复杂指令遵循上表现更为出色。
360智脑团队表示，360Zhinao3-7B模型的开源，旨在推动AI技术的发展，为开发者提供更强大的工具。该模型不仅适用于数学和科学领域，更在端侧应用上具有广泛的应用前景。
https://github.com/Qihoo360/360zhinao3