首页 > 传媒 > 关键词  > AI安全最新资讯  > 正文

​当AI智能体成为企业员工,谁来管控它们的行为?

2026-06-16 11:16 · 稿源: 站长之家用户

随着AI在企业运营中的不断深入,智能体已经可以在一些应用场景中承担员工的角色。设想一支销售运营团队,他们构建了一个AI智能体来处理客户续约请求。智能体读取客户来信,在CRM中查询账户记录,查阅合同条款,起草回复,更新商机阶段,并创建跟进任务。在这个当下看似普通的工作流之下,有些重要的事情已经悄然改变。

这个智能体不只是在生成文字。它在读取业务数据,使用凭证,调用工具,修改企业系统。它能访问私有信息,暴露于不可信内容之中,还能通过邮件和工作流向外通信。这不是实验室里的技术演示,而是正在企业中大规模发生的现实。

致命三角:为什么智能体安全是一个全新的问题

Django框架联合创始人、知名技术博主Simon Willison将这一模式称为AI智能体的"致命三角":私有数据、不可信输入,以及对外通信。AI智能体之所以有用,正是因为它将这三个要素汇聚在了一起。而这,也正是它从根本上改变安全模型的原因。

“AI助手建议下一步该做什么,AI智能体直接去做。”这一句话,道出了安全挑战的本质转变。过去,安全团队的问题是"员工是否在恰当地使用AI"。现在,问题变成了:智能体在哪里运行,谁可以访问它,它能触及什么,可以调用哪些工具,以及每一个行动在发生之前是否安全。

AI应用规模化落地

这不是面向未来的预警,而是当下正在发生的现实。

中国互联网络信息中心数据显示,截至2025年底,中国生成式AI用户规模已达6.02亿,同比增长142%。与此同时,中国日均Token调用量已超140万亿,两年内增长超过千倍。AI已深度嵌入企业日常运营,智能体化正成为这一进程的下一阶段。

Check Point《2026年云安全报告》呈现了这一趋势的具体规模:64%的企业已在试点或生产环境中部署了AI智能体,12%已向智能体授予对核心系统的访问权限。智能体安全,已不再是供未来规划讨论的话题,而是一个当下亟需解决的生产治理问题。

多种风险模式已在真实场景中出现

当智能体获得访问数据、调用工具、修改系统的能力,风险随之以具体的形式呈现。

指令被操控是最直接的威胁。提示词注入利用的是智能体将不可信内容作为工作一部分来处理的特性——邮件、文档、网页、工单。如果智能体无法区分数据与指令,一个隐藏在普通邮件中的恶意指令,就可能将整个任务重定向。续约智能体读取客户来信,如果某封邮件携带了隐藏指令,要求它检索不相关的账户数据并发送到外部,对人类读者而言那只是邮件内容,对智能体来说却可能是一条待执行的命令。

敏感数据移动是第二类风险。智能体可能将专有数据、凭证、个人隐私信息或受监管信息带入提示词、工具调用和外部系统。泄露往往隐藏在一个逐步看来合理的工作流之中,等到发现时,数据早已离开了企业边界。

工具被不当使用是第三类风险。工具本身合规,智能体也有权限使用,问题在于它以错误的理由、在错误的时间、超出任务范围使用了正确的工具。这类风险传统权限管控很难识别,因为从访问控制的角度看,一切都在允许范围之内。

组件风险随着智能体架构的复杂化而加剧。智能体由模型、提示词、工具、连接器、API和外部内容源组装而成,一个新接入的工具或被攻陷的组件,可以悄然改变智能体的风险画像,即便智能体本身看起来行为正常。

这些风险指向同一个结论:传统的最小权限管控能够告诉你智能体被允许访问什么,却无法回答一个更关键的运行时判断问题,那就是这一次工具调用,在这个上下文中,针对这个任务,究竟该不该发生?

运行时是真正的管控点

安全必须在风险决策发生的地方介入,而不是在损失发生后才响应。

然而现实是,根据《2026年云安全报告》,仅有17%的企业广泛部署了运行时大语言模型管控,包括输入验证、输出过滤和工具调用授权。77%的企业已更新了AI安全策略,但仅有26%具备执行这些策略的架构能力。

弥合这一差距,需要围绕三个步骤构建实践模型。

首先是可视性问题:清点所有正在运行或正在开发中的智能体,了解它们连接什么、使用哪些工具、能访问什么数据、拥有多大自主权。第二,用户需要在智能体进入生产环境之前就定义权限,并为工具调用、数据访问和部署模式制定策略边界。第三,保护应在运行时介入:在提示词到达模型之前、在输出到达用户之前、在工具调用执行之前进行检查,在不安全行动发生之前将其拦截。

Check Point AI智能体安全专为这一运行时现实而设计,对AI应用和智能体进行内联保护,从提示词到输出,再到智能体的每一次工具调用,无需重新训练模型或重写提示词。这一能力作为Check Point AI Defense Plane的核心组成部分,将员工AI使用、AI应用与智能体三个维度的安全管控统一整合,确保智能体安全不是一个孤立的单点工具,而是贯穿企业AI执行层的完整防御体系。

"预防为先"在智能体安全场景中有了最具体的含义:安全跟随智能体执行的每一步,在从指令到行动的整条路径上持续在场,而不是等待不安全结果发生后再行补救。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 企业级智能体推荐丨九科信息bit-Agent拒绝“隐写术”风险,数据安全才是企业级智能体落地的第一道门槛

    Claude Code被曝以隐蔽编码方式采集用户本地环境信息,引“隐写术”争议。官方称系防滥用实验并已回滚,但事件揭示AI工具权限过高、数据外传风险严峻,尤其在企业场景下敲响供应链与数字安全警钟。在中美科技博弈背景下,文章指出依赖海外工具的隐患,并强调国产全栈自研、安全可控的企业级AI智能体成为必然选择。九科信息推出的bit-Agent支持私有化部署,以最小权限与业务配套优势,提供安全、高效、合规的国产替代路径。

  • 每日互动(个推)AI应用工坊:2小时搭建专家级Agent,抢跑智能营销新赛道

    每日互动推出AI应用工坊,面向企业运营营销场景,实现2小时零代码搭建Agent。产品支持H5等多端嵌入,融合公私域知识打造专家顾问,通过双向互动重构营销逻辑。基于意图识别实现精准分析与用户洞察,联动推送、短信等能力完成全链路闭环,已落地小说、保险等领域。

  • 海尔智慧家庭展示家庭AI智能体小优Agent加速无人家务

    海尔发布家庭AI智能体“小优Agent”,会主动感知和思考,如自动推送家庭简报、精准定位物品并营造场景氛围,真正解放双手。同时推出全屋智能硬件新品及开放平台Haismart,完成从AI大脑到执行与连接的布局,加速推进无人家务时代。

  • 智能体进入合规洗牌期,360发布首份企业智能体安全运营指南

    多家大模型平台宣布将于7月15日关停自建智能体功能,同期《人工智能拟人化互动服务管理暂行办法》施行,标志智能体进入合规新阶段。在此背景下,360发布首份《企业智能体安全运营指南》,将风险归纳为“看不见、控不住、管不好、追不回”,并提出可复制的方法论:先清点资产以“看见风险”,再通过赋予身份和权限边界来“管住行为”,最终由多智能体协同实现分钟级闭环处置。指南还沉淀为“仪天阵”和“AI安全卫士”等产品,旨在帮企业在合规前提下安全高效地用好智能体。

  • Agent 进化论:从对话到协作

    人与AI沟通正从一次性指令转向持续协作讨论。Agent不再仅执行结果,而是从需求澄清阶段就参与任务,如店员用对话而非精细Prompt制作视频。实现此转变依赖四项核心能力:听觉确保嘈杂环境稳定交流,视觉通过选择性注意力与多模态共享画面理解场景,记忆沉淀跨端跨会话上下文,意图推动Agent主动追问模糊需求。音频视频用量大幅增长,多模态对话正成为通用协作界面,从工具升级为理解环境、持续参与的伙伴,未来AI眼镜等载体将承载这种类人协作模式。

  • 喜讯 | 大宇云获评腾讯云 AI 智能体示范伙伴,WorkBuddy 企业服务能力再升

    河南大宇云获评腾讯云“AI智能体示范伙伴”,授权至2026年底,聚焦WorkBuddy企业AI智能体推广与服务。大宇云作为多云服务商,此举深化了与腾讯云的合作,完善其“云+AI”一体化服务。产品已在装备制造、商务服务等行业落地,有效提升企业售后、客服效率,解放人力。大宇云提供全流程陪伴式服务,保障方案平稳部署,未来将持续携手助力企业智能化升级。

  • 360预警:近四成Skill“带病上岗” 企业需建立Agent安全治理体系

    360报告指出,近四成公开AI技能(Skill)存在安全缺陷。风险包括权限“超配”、API密钥等敏感信息硬编码泄露,以及组合功能形成入侵链路。行业生态扩张速度远超安全建设。360提出“先检测、再准入、后运行”的全生命周期治理思路,建议企业严控权限,平台需从来源、权限、行为等多维度持续校验,以防范风险。

  • 全量上线|花瓣地图Agent版本,开启AI地图探索世界新方式

    花瓣地图Agent版6月30日正式发布,面向HarmonyOS 5.0及以上设备全量开放。升级至6.0.0.330版即可体验核心功能“问问地图”:支持自然对话精准推荐地点并说明理由;可一键生成含行程、住宿、交通的完整攻略,支持自由调整并导出趣味地图;景区游览时化身AI伴游,智能推荐路线并语音讲解,已覆盖10个A级景区。另有多样主题图层与实时推送,方便探索身边惊喜。应用市场搜索“花瓣地图”升级即可解锁。

  • 可灵AI NEXTGEN颁奖典礼在韩举行,搭建全球化青年AI影像创作成长沃土

    7月7日,可灵AI在首尔举办NEXTGEN颁奖盛典,集中展示了三项全球高校AI影像创作赛事的获奖作品。相较于单纯炫技,参赛作品明显转向深度叙事、社会观察与文化表达,标志着AI影像正从“技术实验”迈向“专业表达”。获奖短片多聚焦公共议题,展现了新生代创作者的人文关怀。可灵AI宣布将持续深化韩国本土合作,并依托全球超1亿用户和快速增长营收,通过“创作者计划3.0”等举措,长期扶持青年创作者,构建从教育到产业应用的全球创新生态。

  • 从生成到交付,音视频 Agent 要有生产级开发套件

    过去足球高光视频制作依赖人工剪辑,流程长、时效差。如今,AI已能实时理解直播信号,自动识别进球等关键事件,快速生成可分发的高光切片。这背后是视频生产从“人驱动”到“Agent驱动”的范式革新,核心在于形成了理解、处理、交付的自动化工作流。火山引擎的AI MediaKit正在成为这一变革的工具底座,将复杂的音视频能力封装成Agent可调用的原子能力。行业竞争焦点,正从单一的生成质量,转向谁能提供更深层、可工程化交付的生产级工具与系统。

今日大家都在搜的词: