在2025中国互联网大会上，360集团创始人周鸿祎针对大模型在实际应用中的潜在风险进行了深刻分析。他指出，随着人工智能的迅猛发展，网络安全面临着全新的挑战，传统的 IT 系统漏洞和数据隐私泄露问题已经不再是唯一的威胁。
周鸿祎首先提到 “大模型的‘幻觉’问题”，这被认为是最大的安全风险之一。大模型在面对未知信息时，有时会毫无根据地生成内容。虽然这种现象在娱乐领域可能显得无伤大雅，但当这些智能体应用于工业生产或政府管理等关键领域时，其错误判断可能导致严重后果。特别是当智能体具备操控各种工具的能力后，错误的后果将会被放大，影响范围极广。
图源备注：图片由AI生成，图片授权服务商Midjourney
其次，周鸿祎强调了大模型降低网络攻击门槛的风险。他指出，非编程专业人员也能通过自然语言与大模型互动，轻松编写程序。这意味着，恶意攻击者只需通过精心设计的指令，就能诱导大模型泄露企业机密信息，这种攻击方式被称为 “注入攻击”。未来，甚至一些没有编程知识的普通员工也可能因不满而发起对公司大模型的攻击，形成潜在的内部威胁。
最后，从更广泛的角度来看，周鸿祎警告说，大模型将使得国家级高级威胁攻击更加普遍和复杂。过去，我国的网络攻击相对较少，但如今黑客们正试图将自身能力与经验嵌入大模型，成为 “黑客智能体”。在强大算力的支持下，一个黑客可能同时操控数十甚至数百个智能体，彻底改变网络攻防的格局，未来的对抗将不仅仅是人与人的较量，而是人与算法、人与机器、人与算力之间的斗争。
为了应对这些挑战，周鸿祎透露，360正在积极采取两项关键措施。首先，360正在打造智能体安全专家，帮助企业实现实时检测和防御，做到 “以算法对抗算法”。其次，360开发了专门的大模型卫士，监控大模型的指令并评估输出内容的准确性，以最大程度降低大模型的 “幻觉” 问题。