首页 > 业界 > 关键词  > 正文

魔搭社区上线Mistral AI 开源 MoE 模型 Mixtral8x7B

2023-12-14 09:19 · 稿源:站长之家

站长之家(ChinaZ.com)12月14日 消息:Mistral AI 近日发布了首个开源 MoE 模型 Mixtral8x7B,并宣布在魔搭社区上线。

Mixtral-8x7B 是一款混合专家模型(Mixtrue of Experts),由8个拥有70亿参数的专家网络组成,在能力上,Mixtral-8x7B 支持32k token 上下文长度,支持英语、法语、意大利语、德语和西班牙语,拥有优秀的代码生成能力,可微调为指令跟随模型。

该模型在 MT-Bench 评测上达到了8.3分,与 GPT3.5相当。

微信截图_20231214092122.png

Mixtral-8x7B-v0.1模型:

https://www.modelscope.cn/models/AI-ModelScope/Mixtral-8x7B-v0.1/summary

Mixtral-8x7B-Instruct-v0.1模型:

https://www.modelscope.cn/models/AI-ModelScope/Mixtral-8x7B-Instruct-v0.1/summary

Mistral-7B-Instruct-v0.2新模型:

https://www.modelscope.cn/models/AI-ModelScope/Mistral-7B-Instruct-v0.2/summary

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词:

热文

  • 3 天
  • 7天