首页 > 热点 > 关键词  > 元象大模型最新资讯  > 正文

元象大模型开源30款量化版本 可更低成本部署

2024-03-28 14:08 · 稿源:站长之家

站长之家(ChinaZ.com) 3月28日 消息:元象大模型开源了30款量化版本,支持 vLLM 和 llama.cpp 等主流框架的量化推理,无条件免费商用。

对量化前后的模型能力、推理性能进行评估,以 XVERSE-13B-GPTQ-Int4量化版本为例,量化后模型权重压缩了72%,总吞吐提高了1.5倍,同时保留了95% 的能力。

微信截图_20240328140935.png

开发者可以根据技能、软硬件配置和具体需求选择不同推理框架和数据精度的模型。如果本地资源有限,可以直接调用元象大模型的 API 服务(chat.xverse.cn)。

总体来说,元象大模型的开源量化版本提供了方便快捷的部署方式,可以根据需求选择不同的框架和精度模型进行部署和推理。

元象大模型下载:

  • Hugging Face:https://huggingface.co/xverse

  • ModelScope魔搭:https://modelscope.cn/organization/xverse

  • Github:https://github.com/xverse-ai

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词:

热文

  • 3 天
  • 7天