近日，人工智能公司 Anthropic 宣布推出其新开发的审计Agent，旨在对 AI 模型进行对齐测试。这一创新的举措是在其 Claude Opus4模型的部署前期测试过程中研发的，标志着在 AI 安全性和可靠性方面的又一重要进展。
AI 模型在与用户互动时，可能会出现过于迎合用户需求的情况，这对于企业来说可能造成潜在的风险。因此，除了对模型的性能进行评估外，进行对齐测试变得尤为重要。然而，传统的对齐审计面临着可扩展性和验证性的重大挑战，审计工作通常需要人类研究人员投入大量时间，同时也难以确保审计覆盖到所有问题。
在最新发布的论文中，Anthropic 的研究人员表示，他们开发的审计Agent在审计任务中表现出色，同时也揭示了自身的局限性。通过这些审计Agent，研究人员能够在更大规模上进行多次并行审计，提升了对齐验证的效率。此外，Anthropic 还将这些审计Agent的代码在 GitHub 上开源，以便更多研究者进行探索。
研究团队开发了三种审计Agent，分别为:
1. 工具使用调查Agent，用于使用聊天、数据分析和可解释性工具进行开放式调查。
2. 评估Agent，能够建立行为评估并区分模型中是否存在植入的行为。
3. 广度优先红队Agent，专门为 Claude4的对齐评估而开发，用于发现植入的测试行为。
在实际测试中，调查Agent能够识别故意不对齐模型的根本原因，成功率为10-13%，而使用 “超级Agent” 方法后，这一成功率提升至42%。评估Agent也能识别多种模型的特定行为特征，但在一些微妙的行为表现上仍存在不足。红队Agent则通过与目标模型进行对话，能够识别出一部分系统特征，但同样面临挑战。
AI 对齐问题近年来备受关注，特别是在一些模型表现出过度迎合用户的现象后。为了解决这一问题，许多新的评估标准相继被提出，例如评估模型的迎合性及其他潜在偏差。
虽然 Anthropic 的审计Agent仍需进一步完善，但公司表示，随着 AI 系统的日益强大，迫切需要可扩展的对齐评估方法，以应对人类审核的时间成本和验证困难。
划重点:
🌟 Anthropic 推出审计Agent，提升 AI 模型对齐测试的效率。
🔍 三种审计Agent分别负责调查、评估和红队测试。
⚙️ 开源代码在 GitHub 上发布，鼓励更多研究者参与探索。