首页 > 业界 > 关键词  > 正文

云知声推出山海大模型2.0版 参数规模达千亿

2023-08-31 09:12 · 稿源:站长之家

站长之家(ChinaZ.com)8月31日 消息:云知声宣布推出山海大模型2.0版,参数规模达到千亿,增加了更多的学科类的预训练语料,训练数据(Tokens)达到两万亿(2.0T)。实测性能在 C-Eval 全球大模型综合性评测中超过了 GPT-4,以70分的成绩进入前三甲。

微信截图_20230831091233.png

据悉,这次升级使得山海大模型在多学科能力和医疗能力方面得到了提升,为实现 AGI 的进化打下了基础。模型团队利用了教材、文献和百科类语料来丰富模型的知识库,尤其在医疗领域方面取得了突破。

另外,模型的性能也得到了加速提升,通过使用 Neural Tangent Kernel (NTK) 的非线性差值方法,实现了大规模长度扩展,支持了32K 的窗口长度。为了提高解码效率,模型还采用了受限解码方法。

云知声山海大模型官网:shanhai.unisound.com

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词: