首页 > 热点 > 关键词  > 大模型最新资讯  > 正文

360智脑7B参数大模型正式开源 最长支持约50万字输入

2024-04-15 09:03 · 稿源:站长之家

站长之家(ChinaZ.com)4月15日 消息:360公司自主研发的7B参数大模型——360智脑,现已正式上线开源社区,并提供了基础模型以及4K、32K、360K三种不同文本长度的版本。

这一大模型在支持文本长度方面表现出色,最长可处理360K长文本,相当于约50万字的输入内容。令人惊叹的是,仅需3秒钟,它便能读完整部《三体》。

目前,在开源模型领域,360智脑7B无疑是支持文本长度最长的大模型之一。

微信截图_20240415090449.png

为了方便开发者使用,360智脑7B大模型不仅提供了全套的微调训练代码和推理代码工具集,而且实现了开箱即用。这一举措极大地简化了开发流程,让行业无需再为处理长文本而犯愁。

性能评估方面,360智脑7B大模型同样表现出色。通过OpenCompass与国内外同参数模型进行对比,其综合能力排名前三。在C-Eval、MMLU、HellaSwag、LAMBADA等多项能力测试中,360智脑7B均获得了第一的成绩,显示出强大的中英文知识和推理理解能力。即便是面对“弱智吧”贴吧的“刁难”,它也能从容不迫地作出清晰应答。

在LongBench评测中,360智脑7B大模型的长文本处理能力同样令人瞩目。在同等参数模型的测评中,它成功拿下最高分。同时,在中英文360K大海捞针效果测试中,也取得了超过98%的高分。这一成绩的背后,得益于360智脑7B采用的无损压缩技术,它摒弃了传统的滑动窗口attention、跳跃attetion等有损压缩路线,实现了超长文本的无损处理

项目地址:https://github.com/Qihoo360/360zhinao

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词: