首页 > 业界 > 关键词  > 人工智能最新资讯  > 正文

全球首个!中国电信发布单体稠密万亿参数语义模型Tele-FLM-1T

2024-06-19 15:30 · 稿源: 快科技

中国电信AI研究院携手北京智源AI研究院发布了全球首个单体稠密万亿参数语言模型Tele-FLM-1T,成为国内首家推出稠密万亿参数大模型的机构。

为了应对大模型训练中的算力消耗挑战,研究团队通过深入研发,融合了模型增长和损失预测等关键技术,推出了Tele-FLM模型系列。该系列模型在算力资源的使用上,仅消耗了行业标准训练方案的9%,体现出极高的算力效率。

利用112台A800服务器,TeleAI团队在4个月内完成了3个模型总计2.3T tokens的训练,全程没有进行任何调整和重试,验证了模型训练的稳定性和收敛性。

值得注意的是,Tele-FLM-1T版本即将开源,旨在为社区提供万亿稠密模型训练的技术指南,解决万亿模型训练收敛困难的问题,推动大模型技术的进步。

TeleAI除了技术创新外,还积极通过开源方式促进大模型技术的普及和国产化发展。他们陆续开源了7B、12B、52B参数规模的大模型,在开源社区引发广泛关注和应用,开源模型下载量已超万次,吸引了超过40万用户。

举报

  • 相关推荐

今日大家都在搜的词: