首页 > 业界 > 关键词  > SEO优化大师最新资讯  > 正文

羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品

2023-06-29 08:46 · 稿源: 量子位公众号

开源羊驼大模型LLaMA上下文追平GPT-4,只需要一个简单改动!Meta AI这篇刚刚提交的论文表示,LLaMA上下文窗口从2k扩展到32k后只需要小于1000步的微调。与预训练相比,成本忽略不计。扩展上下文窗口,就意味着AI的“工作记忆”容量增加,具体来说可以:支持更多轮对话,减少遗忘现象,

......

本文由站长之家合作伙伴自媒体作者“量子位公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词: