首页 > 业界 > 关键词  > DBRX最新资讯  > 正文

DBRX抢占开源大模型王座 编程、数学等领域超越GPT-3.5

2024-03-28 14:22 · 稿源:站长之家

要点:

  • DBRX成为开源大模型领域新标杆:Databricks发布1320亿参数的DBRX,基础和微调版本均开源,在语言理解、编程、数学等领域超越了GPT-3.5,并且与Gemini1.0Pro和Mistral Medium相媲美。

  • DBRX性能优异:DBRX在综合基准、编程和数学等方面表现出色,超越了GPT-3.5,并且与闭源模型Gemini1.0Pro和Mistral Medium具有竞争力,展现了强大的语言理解和推理能力。

  • 训练效率高:DBRX模型使用混合专家模型架构,有效提高了训练的计算效率,为开源社区提供了更多可能性,并成为开源大模型领域的新里程碑。

站长之家(ChinaZ.com) 3月28日 消息:最新开源大语言模型DBRX以其惊人的1320亿参数量成为业界新宠。该模型不仅在语言理解、编程和数学等方面超越了业内领先的开源模型,还在效率上有所突破。DBRX的基础和微调版本均已发布,为研究和商业应用提供了丰富的资源。

image.png

GitHub 链接:https://top.aibase.com/tool/dbrx

基础版:https://huggingface.co/databricks/dbrx-base

微调版:https://huggingface.co/databricks/dbrx-instruct

DBRX采用基于Transformer的仅解码器大语言模型,使用细粒度的专家混合架构,共有1320亿参数。相比其他开源MoE模型,如Mixtral和Grok-1,DBRX更细粒度,使用更多数量的小型专家模型。它使用了旋转位置编码、门控线性单元和分组查询注意力等技术来提高模型质量,并采用了tiktoken存储库提供的GPT-4分词器。DBRX的高效率也是其优势之一,平均只需激活360亿参数即可处理token,推理速度几乎比LLaMA2-70B快两倍。

与此同时,DBRX的推理速度也有了显著提升,在Mosaic AI Model Serving上每秒可达150个token,大大提高了处理效率。这一新模型的出现引发了开发者和媒体的热烈讨论,被誉为开源AI模型领域的新标杆。

DBRX在综合基准测试中表现突出,尤其在编程和数学方面显示出强大的能力。与GPT-3.5相比,DBRX在人类评估和数学推理等方面更胜一筹,同时与Gemini1.0Pro和Mistral Medium等闭源模型相媲美。DBRX的出现不仅提高了开源社区的水平,也为商业应用带来了更多可能性。同时,DBRX还在训练效率方面有所突破,有效提高了混合专家模型的计算效率,为更广泛的应用场景带来了希望。

总的来说,DBRX的问世为开源大模型领域注入了新的活力,展现了令人瞩目的性能和效率。随着其在各项基准测试中的优异表现,DBRX有望成为未来开源大模型发展的重要里程碑,为人工智能领域的进步贡献力量。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词: