11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
“MoE”加上“前所未有大规模投入生产环境的LightningAttention”,再加上“从框架到CUDA层面的如软件和工程重构”,会得到什么?一个追平了顶级模型能力、且把上下文长度提升到400万token级别的新模型。这显然是巨大的野心,但在如今人们都在关注大模型接下来往哪儿走的时候,非常需要这样的野心,非常需要一个或者更多个“Transformer时刻”——在一个自己相信的路线上做到极致,把看似所有人都知道的配方,最终兑现出来,展示给技术社区里的人们,让它变成某个决定性的时刻,给AI的前进再添把火。