首页 > 业界 > 关键词  > Prompt2Model最新资讯  > 正文

Prompt2Model:可自动生成专用NLP模型

2023-09-05 09:50 · 稿源:站长之家

文章概要:

1. Prompt2Model可以根据提示自动生成专用NLP模型,在某些情况下性能超过GPT-3.5Turbo。

2. Prompt2Model使用OpenAI的GPT-3.5Turbo生成合成训练数据,再利用预训练的Hugging Face模型进行微调。

3. Prompt2Model依赖OpenAI的GPT-3.5Turbo是商业应用的局限,正在探索使用开源语言模型。

站长之家(ChinaZ.com)9月5日 消息:卡内基梅隆大学和清华大学的研究人员开发了Prompt2Model系统,可以根据提示自动生成专用NLP模型。

当然,Prompt2Model 并不是GPT-4的替代品,而是用于特殊用途 NLP 模型的自动化管道,这些模型可以很好地执行特定任务,比大型模型小得多,因此可以在低端的的硬件上本地运行。

image.png

Prompt2Model系统首先将提示分解为结构化语句,然后查找可能对当前任务有用的数据集。之后利用OpenAI的GPT-3.5Turbo生成针对该任务的合成训练数据。接着识别合适的预训练模型进行微调。

研究人员在三项基准测试中评估了Prompt2Model的结果。在两项任务中,结果的Flan-T5模型表现优于GPT-3.5Turbo。但在第三项基准测试中,Prompt2Model明显落后于OpenAI模型。

Prompt2Model目前主要局限在仅支持英语的任务上。团队表示,GPT-3.5Turbo本身的语言支持有限是其原因。而Prompt2Model依赖OpenAI模型生成数据也限制了其商业应用,OpenAI禁止利用自己的模型训练可能与其竞争的模型。

不过,团队正在探索集成大规模开源语言模型来减少对专有API的依赖。

项目网址:https://github.com/neulab/prompt2model

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词:

热文

  • 3 天
  • 7天