站长之家(ChinaZ.com) 6月15日消息:在大型语言模型（LLM）越来越多地依赖于 ChatGPT 和其他工具来提高效率的情况下，我们可以预见到未来很大一部分网络内容将由人工智能生成。然而，这可能对大型语言模型的未来构成严重风险，因为目前它们依赖于从网络上抓取的人类生成数据。
剑桥大学、牛津大学、多伦多大学和伦敦帝国理工学院的一组研究人员发表了一篇研究论文，对 LLMs 最终使用人工智能生成数据作为训练数据提出了警告。这篇名为《递归的诅咒：在生成数据上训练会让模型遗忘》的论文描述了一种退化过程，称为「模型崩溃」，在这种过程中，模型与现实脱节，并被自己的输出内容所破坏。
随着人工智能工具的广泛使用，这种情况很可能会发生。广泛使用人工智能将导致人工智能生成的内容被作为大型语言模型的训练数据，从而导致其输出的不准确和失真。
这个问题在大型语言模型、变分自编码器和高斯混合模型中都有观察到，随着时间的推移，它们开始「遗忘真实的基础数据分布」，因为它们所训练的数据变得污染程度很高，不再与真实世界的数据相似。
鉴于模型崩溃的严重风险，研究人员强调了获得原始分布数据的重要性，这些数据通常由人类生成。毕竟，人工智能语言模型旨在与人类进行交互，因此需要与现实保持联系，以正确模拟我们的世界。
为解决这个问题，研究人员提出了几种更智能的大型语言模型训练方法。其中一种方法是「先发优势」，强调保留对原始人工生成数据源的访问权限。
然而，由于很难区分 AI 生成的数据和人类生成的数据，该研究论文明确提出，「社区范围的协调」对于确定数据来源至关重要，以确保涉及 LLM 创建和部署的各方共享所需的信息。
论文补充说，但在人们越来越广泛地使用生成式人工智能和对技术占据岗位的担忧之间，对于人类创作者来说也存在一线希望。
研究论文推测，随着互联网上生成式人工智能数据的增加，人类创造的内容将变得越来越有价值，即使只是作为训练大型语言模型时的无污染数据来源。
（举报）
