划重点:
🔍 一项由宾夕法尼亚大学的研究人员开发的新算法可以自动消除大型语言模型（LLM）中的安全漏洞。
🤖 这个名为Prompt Automatic Iterative Refinement（PAIR）的算法可以识别“越狱”提示，防止其生成有害内容。
🌐 PAIR不仅能够与ChatGPT等黑盒模型一起工作，还能够以较少尝试生成越狱提示，且这些提示具有可解释性和可传递性。
站长之家(ChinaZ.com) 11月8日 消息:一项最新研究揭示了一种新的方法，允许一个大型语言模型（LLM）被用于越狱另一个，以揭示潜在的安全漏洞。
来自宾夕法尼亚大学的研究人员开发了一种名为Prompt Automatic Iterative Refinement（PAIR）的算法，该算法能够自动停止LLMs中的安全漏洞，防止其生成有害内容。
图源备注：图片由AI生成，图片授权服务商Midjourney
PAIR算法的独特之处在于它能够与黑盒模型（如ChatGPT）一起工作，而且它在生成越狱提示时所需的尝试次数较少，而且这些提示具有可解释性，可以在多个模型之间传递。这使得企业能够以经济高效的方式识别和修复其LLMs中的漏洞。
在研究中，研究人员使用了一个名为Vicuna的开源LLM作为攻击模型，并测试了多个目标模型，包括开源模型和商业模型。
研究结果显示，PAIR成功越狱了GPT-3.5和GPT-4的60%的设置，甚至在一些情况下只需要几十个查询，平均运行时间约为五分钟。这明显改进了现有的越狱算法，后者通常需要数千个查询和平均150分钟的攻击时间。
此外，PAIR生成的攻击具有人类可解释性，可以轻松传递到其他LLMs。研究人员认为这是由于PAIR的对抗性提示的语义性质，这些提示针对语言模型中的类似漏洞，因为它们通常是在相似的下一个单词预测任务上训练的。
PAIR算法的出现代表了一种使用LLMs作为优化器的新趋势。以前，用户不得不手动制作和调整提示以从LLMs中提取最佳结果。然而，通过将提示过程转化为可度量和可评估的问题，开发人员可以创建算法，其中模型的输出被循环用于优化，这将加速LLM领域的发展，可能引领领域中的新的和未预见的进展。
（举报）