首页 > 业界 > 关键词  > 正文

嘉楠科技Canaan开源通用大语言模型Toucan

2023-08-31 08:28 · 稿源:站长之家

站长之家(ChinaZ.com) 8月31日 消息:近日,嘉楠科技(Canaan)发布了参数量为70亿的通用大语言模型 Toucan-7B 及 INT4量化版本 Toucan-7B-4bit。

微信截图_20230831082931.png

Toucan-7B 能够实现文案写作、代码解析、信息抽取等多种自然语言处理任务,并在测试中表现优于 ChatGLM-6B。Toucan-7B-4bit 使用了最新的 INT4量化技术,显存占用量更低,与 Toucan-7B-fp16模型相比,具有较好的推理效果。

据悉,Toucan 是一个基于 Meta LLaMa 架构的开源中文对话语言模型。它具有70亿参数,并结合了模型量化和稀疏技术,可以在端侧进行推理。Toucan-7B 的效果略好于 ChatGLM-6B,而经过4bit 量化后的模型与 ChatGLM-6B 的效果相当。

项目地址:https://github.com/kendryte/Toucan-LLM

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词:

热文

  • 3 天
  • 7天