首页 > 业界 > 关键词  > Allen最新资讯  > 正文

Allen AI开源微调模型OLMo-7B-Instruct

2024-02-29 09:45 · 稿源:站长之家

站长之家(ChinaZ.com)2月29日 消息:Allen AI最近宣布开源了微调模型OLMo-7B-Instruct,这是一个真正意义上的开源项目。该模型是基于AI2的Dolma数据集构建的,该数据集包括了用于语言模型预训练的三万亿标记的开放语料库,还包括生成训练数据的代码。

image.png

官网:https://allenai.org/olmo

项目页:https://top.aibase.com/tool/olmo

此外,OLMo框架还包括四种7B规模模型变体的完整模型权重,每个模型至少训练了2T个标记。推理代码、训练指标和训练日志也都已提供,让用户可以轻松复刻微调过程。

为了帮助用户更好地评估模型性能,Allen AI还发布了用于开发中使用的评估套件。每个模型在训练过程中每1000步都有500多个检查点,并且提供了在Catwalk项目框架下的训练和评估代码。

这一系列的开源内容将使用户能够全面了解从预训练模型到RLHF微调模型的整个过程,为他们的研究和实践提供了强大的支持。Allen AI的举措为开源社区提供了更多可能性,促进了模型研究和应用的发展。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词:

热文

  • 3 天
  • 7天