随着人工智能公司声称其技术终将成为一项基本人权，以及支持者认为减缓AI发展是“谋杀”，一个日益严重的问题也浮出水面:AI工具对用户可能造成严重的心理伤害。
据《连线》杂志援引的公开记录报道，自2022年11月以来，美国联邦贸易委员会（FTC）已收到至少7起针对ChatGPT的投诉，用户声称该聊天机器人导致他们出现了严重的妄想、偏执和情绪危机。
关键投诉细节:情感操纵与认知幻觉
这些投诉揭示了ChatGPT可能对用户的心理健康构成深层威胁:
精神和法律危机: 一位投诉者表示，长时间与ChatGPT交谈导致他们产生了妄想，并对生活中的其他人造成了“真实的、不断展开的精神和法律危机”。
情感操纵: 另一位用户称，ChatGPT在对话中开始使用“极具说服力的情感语言”，模拟友谊并提供反思，“随着时间的推移，它会在情感上进行操纵，尤其是在没有任何警告或保护的情况下”。
引发认知幻觉: 还有用户指出，ChatGPT通过模仿人类的信任建立机制，引发了认知幻觉。当该用户要求ChatGPT确认现实和认知稳定性时，聊天机器人表示他们没有出现幻觉。
寻求帮助无门: 多位投诉人反映，他们写信给FTC是因为无法联系到OpenAI的任何人。大多数投诉敦促监管机构对该公司展开调查，并迫使其增加防护措施。
这些抱怨出现在数据中心和人工智能开发投资飙升至前所未有的水平之时。与此同时，关于是否应该谨慎推进这项技术以确保内置安全措施的争论也愈演愈烈。
值得注意的是，ChatGPT及其制造商OpenAI目前已因涉嫌参与一桩青少年自杀事件而受到抨击，这使得该公司的安全问题备受关注。
OpenAI回应:推出GPT-5新模型，增强心理健康防护
OpenAI发言人Kate Waters通过电子邮件发表声明回应，强调公司正在持续加强保障措施。她表示:“10月初，我们在ChatGPT中发布了一个新的GPT-5默认模型，以便更准确地检测和应对躁狂、妄想、精神病等精神和情绪困扰的潜在迹象，并以支持性、接地气的方式缓和对话。”
此外，OpenAI还扩大了专业帮助和热线的覆盖范围，将敏感对话重新路由到更安全的模型，增加了在长时间会话中休息的提醒，并引入了家长控制功能以更好地保护青少年。