站长之家(ChinaZ.com) 10月9日消息:大型语言模型（LLMs）因其模仿人类特性而引起了广泛关注。这些模型能够回答问题、生成内容、总结长文本段落等等。提示语对于提高 LLMs（如 GPT-3.5 和 GPT-4）的性能至关重要。
提示语的创建方式可以对 LLMs 在各种领域的能力产生重大影响，包括推理、多模态处理、工具使用等等。研究人员设计的这些技术在模型蒸馏和代理行为模拟等任务中显示出了潜力。
提示方法的手动工程引发了一个问题，即是否可以自动化这个过程。通过根据来自数据集的输入-输出实例生成一组提示语，自动提示工程师（APE）试图解决这个问题，但从提示语质量的角度来看，APE 存在着递减的回报。研究人员提出了一种基于维持多样性的进化算法的方法，用于自我参考的提示语的自我改进，以克服提示语创建中的递减回报问题。
LLMs 可以改变其提示语以提高其能力，就像神经网络可以改变其权重矩阵以提高性能一样。根据这种比较，LLMs 可以被创建来增强它们自己的能力以及它们增强自己能力的过程，从而使人工智能能够不断改进。作为对这些想法的回应，Google DeepMind 的研究团队最近引入了 PromptBreeder（PB），这是一种 LLMs 以自我参考的方式更好地提升自己的技术。
PB 需要一个特定领域的问题描述、一组初始突变提示语（用于修改任务提示语的指令）以及思维风格，即以文本形式表示的通用认知启发式。通过利用 LLM 作为突变操作符的能力，它生成不同的任务提示语和突变提示语。这些进化的任务提示语在训练集上进行评估，选择包含任务提示语及其相关突变提示语的进化单元的子集，用于未来的世代。
该团队表示，PromptBreeder 观察到提示会在几代中适应特定领域。例如，PB 开发了一个任务提示，其中明确说明了如何解决数学领域的数学问题。在各种基准任务中，包括常识推理、算术和伦理学，PB 都优于最先进的提示技术。PB 不需要更新参数来进行自我参照的自我改进，这表明未来更广泛、更有能力的 LLMs 可能会从这一策略中受益。
PromptBreeder 的工作流程可以总结如下：
1. 任务提示语突变：任务提示语是为特定任务或领域创建的提示语。PromptBreeder 从这些提示语开始。然后对任务提示语进行突变，生成变体。
2. 适应性评估：使用训练数据集，评估这些修改后的任务提示语的适应性。这个评估衡量了 LLM 在被问及时如何应对这些变化。
3. 持续进化：与生物进化类似，突变和评估的过程会重复几代。
总而言之，PromptBreeder 被认为是一种独特且成功的技术，用于自主演化 LLMs 的提示语。它试图提高 LLMs 在各种任务和领域中的性能，最终通过不断改进任务提示语和突变提示语，优于手动示方法。
查看 PromptBreeder（PB）论文：
https://arxiv.org/abs/2309.16797
（举报）
