首页 > 业界 > 关键词  > AI大模型最新资讯  > 正文

猎户星空大模型日、韩语能力全球:能跟日本人流畅交流

2024-01-30 14:12 · 稿源: 快科技

1月21日,猎户星空推出 Orion-14B 开源大模型,其 140 亿参数规模展示出强劲性能。Orion-14B 在通用能力评估中取得行业领先地位,超越了许多更大的模型。

值得注意的是,Orion-14B 针对日语和韩语进行了专门训练,为猎户星空在海外部署商业机器人应用提供支持。这些机器人不仅提供送餐服务,还能顺畅地与用户交流。

通过 AWQ Q4 量化技术,Orion-14B 的模型大小减少了 70%,推理速度提升了 30%,性能几乎没有损失(小于 1%)。它可以在千元级显卡上流畅运行,在 NVIDIA RTX 3060 显卡上实测推理速度可达 31 token/s(约每秒 50 个汉字)。

举报

  • 相关推荐