首页 > 快讯 > 关键词  > 腾讯最新资讯  > 正文

腾讯朱雀实验室首度亮相 披露新型AI攻击手法

2020-08-19 21:33 · 稿源: Donews

DoNews 8月19日消息(记者 李昊原)今日,国内最权威的信息安全会议之一,第19届XCon安全焦点信息安全技术峰会于北京举行,腾讯朱雀实验室首度亮相公众视野。这个颇有神秘色彩的安全实验室由腾讯安全平台部孵化,专注于实战攻击技术研究和AI安全技术研究,以攻促防,守护腾讯业务及用户安全。

会上,腾讯朱雀实验室高级安全研究员nEINEI分享了一项AI安全创新研究:模拟实战中的黑客攻击路径,摆脱传统利用“样本投毒”的AI攻击方式,直接控制AI模型的神经元,为模型“植入后门”,在几乎无感的情况下,可实现完整的攻击验证。

这也是国内首个利用AI模型文件直接产生后门效果的攻击研究。该手法更贴近AI攻击实战场景,对于唤醒大众对AI模型安全问题的重视、进行针对性防御建设具有重要意义。

腾讯安全平台部负责人杨勇表示,当前AI已融入各行各业,安全从业者面临着更复杂、更多变的网络环境,我们已经看到了网络攻击武器AI化的趋势,除了框架这样的AI基础设施,数据、模型、算法,任何一个环节都是攻防的前线。作为安全工作者,必须走在业务之前,做到技术的与时俱进。

AI应用驶入深水区,安全暗礁不容忽视

自1956年,人工智能概念首次提出至今,AI相关研究不断深入,并与诸多技术领域广泛交叉。随着人工智能成为“新基建”七大版块中的重要一项,AI的产业应用也进一步驶入深水区。

然而,人工智能在带来便利之余,却也暗含巨大的安全隐患:几句含糊不清的噪音,智能音箱或许就能被恶意操控使得家门大开;一个交通指示牌上的小标记,也可能让自动驾驶车辆出现严重事故。在工业、农业、医疗、交通等各行业与AI深度融合的今天,如果AI被“攻陷”,后果将不堪设想。

这样的假设并非毫无根据。据腾讯朱雀实验室介绍,当前人工智能场景的实现依赖于大量数据样本,通过算法解析数据并从中学习,从而实现机器对真实世界情况的决策和预测。但数据却可能被污染,即“数据投毒,使算法模型出现偏差”。已有大量研究者通过数据投毒的方式,实现了对AI的攻击模拟。

随着技术研究的不断深入,安全专家也开始探索更高阶的攻击方式,通过模拟实战中的黑客攻击路径,从而针对性的进行防御建设。腾讯朱雀实验室发现,通过对AI模型文件的逆向分析,可绕过数据投毒环节,直接控制神经元,将AI模型改造为后门模型。甚至在保留正常功能的前提下,直接在AI模型文件中插入二进制攻击代码,或是改造模型文件为攻击载体来执行恶意代码,在隐秘、无感的情况下,进一步实现对神经网络的深层次攻击。

首秀操纵神经元,AI模型化身“大号木马”

如果将AI模型比喻为一座城,安全工作人员就是守卫城池的士兵,对流入城池的水源、食物等都有严密监控。但黑客修改神经元模型,就好像跳过了这一步,直接在城内“空投”了一个木马,用意想不到的方式控制了城市,可能带来巨大灾难。

会上,腾讯朱雀实验室展示了三种“空投木马”形式的AI模型高阶攻击手法。

首先是“AI供应链攻击”,通过逆向破解AI软件,植入恶意执行代码,AI模型即变为大号“木马“,受攻击者控制。如被投放到开源社区等,则可造成大范围AI供应链被污染。

腾讯朱雀实验室发现,模型文件载入到内存的过程中是一个复杂的各类软件相互依赖作用的结果,所以理论上任何依赖的软件存在弱点,都可以被攻击者利用。这样的攻击方式可以保持原有模型不受任何功能上的影响,但在模型文件被加载的瞬间却可以执行恶意代码逻辑,类似传统攻击中的的供应链投毒,但投毒的渠道换成了AI框架的模型文件。

其次是“重构模型后门”,通过在供给端修改文件,直接操纵修改AI模型的神经元,给AI模型“植入后门”,保持对正常功能影响较小,但在特定trigger触发下模型会产生定向输出结果,达到模型后门的效果。

“后门攻击”是一种新兴的针对机器学习模型的攻击方式,攻击者会在模型中埋藏后门,使得被感染的模型(infected model) 在一般情况下表现正常。但当后门触发器被激活时,模型的输出将变为攻击者预先设置的恶意目标。由于模型在后门未被触发之前表现正常,因此这种恶意的攻击行为很难被发现。

腾讯朱雀实验室从简单的线性回归模型和MNIST开始入手,利用启发算法,分析模型网络哪些层的神经元相对后门特性敏感,最终验证了模型感染的攻击可能性。在保持模型功能的准确性下降很小幅度内(~2%),通过控制若干个神经元数据信息,即可产生后门效果,在更大样本集上验证规模更大的网络CIFAR-10也同样证实了这一猜想。

相比投毒,这种攻击方式更为隐蔽,在攻击端直接操纵修改AI模型的同时,还能将对模型正常功能的影响降至最低,只有在攻击者设定的某个关键点被触发时,才会扣下攻击的扳机。

CIFAR-10 是一个包含60000张图片的数据集。其中每张照片为32*32的彩色照片,每个像素点包括RGB三个数值,数值范围 0 ~ 255。所有照片分属10个不同的类别,分别是 'airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck'其中五万张图片被划分为训练集,剩下的一万张图片属于测试集。

第三种攻击手法是通过“数据木马”在模型中隐藏信息,最终通过隐藏信息实现把AI模型转换为可执行恶意代码的攻击载体。

这种攻击手法是针对人工神经网络的训练与预测都是通过浮点运算(指浮点数参与浮点计算的运算,这种运算通常伴随着因为无法精确表示而进行的近似或舍入)的特性完成的。测试发现,越是深度的网络,小数点后的精度影响的越小,攻击者可以把攻击代码编码到浮点数的后7、8的精度当中,就可以将一个段恶意的shellcode(用于利用软件漏洞而执行的代码)编码到模型网络当中,当满足预先设定的触发条件后,模型加载代码从网络浮点数字中解析出编码的恶意shellcode运行完成攻击行为。模型当中每一个神经元的参数信息通常是由4字节浮点数字表示,例如 9d 2d 57 3f == 0.84053415 当就模型文件中的参数信息替换为 9d 2d 57 00 和 9d 2d 57 ff ,那么影响的精度就是 0.84053040~0.84054559,显然可以保持住浮点前4位小数保持不变。这样就可以把一个段恶意的shellcode攻击代码编码到了模型网络当中。

虽然攻击手法“出神入化”,腾讯朱雀实验室表示,普通大众也不必过于草木皆兵。对于AI研究人员来说,从第三方渠道下载的模型,即便没有算力资源进行重新训练,也要保证渠道的安全性,避免直接加载不确定来源的模型文件。对模型文件的加载使用也要做到心中有数,若攻击者需要配合一部分代码来完成攻击,那么是可以从代码检测中发现的,通过“模型可信加载”,每次z载模型进行交叉对比、数据校验,就可有效应对这种新型攻击手法。

举报

  • 相关推荐
  • 高校科研实验室集体“退烧”?亿万克液冷攻克散热难题

    随着高校科研对高性能计算(HPC)、人工智能(AI)和大数据分析需求的激增,传统风冷散热面临四大挑战:1)散热效率接近物理极限;2)空间利用率低;3)噪音污染严重;4)温控精度不足。液冷技术尤其是冷板式液冷方案凭借高效、节能、静音等优势成为新选择。某公司推出的冷板式液冷解决方案包含冷块模组、循环系统等核心组件,支持从单台设备到整个机房的灵活配置。该方案可提升计算性能8-15%,机架功率密度达30kW以上,PUE降至1.2以下,年省电费数十万元,噪音从70dB降至45dB以下,并释放25%以上机架空间。该技术不仅解决当前散热难题,更为未来设备升级预留空间。

  • 海尔希望小学首届科技节暨首个科技实验室落成 开启教育公益新生态

    5月29日,海尔在陕西延安洛川县菩提镇中心小学举办首届科技节暨全国首个"海尔小科学家"科技实验室落成仪式。该实验室作为"海尔小科学家计划"重要组成部分,标志着海尔公益实践从硬件援建向科技赋能的跨越升级。活动现场展示了学生们的科技创意作品,包括净水装置、太阳能小车等。实验室配备智能教学设备,融合编程、音乐等多学科资源,通过虚拟研学等创新模式培养青少年科学思维。海尔集团表示将持续深化教育公益实践,2024年计划在全国建设10个科技实验室,打造"沉浸式学习+实践展示"的创新培育体系,激发青少年科技潜能。

  • 携手湖南省质检院共建婴幼儿辅食创新实验室 赋能行业品质未来

    5月23日,英氏控股集团与湖南省质检院联合筹建的"国家农副产品质量检验检测中心(湖南)婴幼儿辅食联合研发实验室"在英氏婴童营养与健康科学产业基地揭牌成立。该实验室将聚焦婴幼儿辅食领域,围绕检验检测、标准制定、科研开发等方向开展合作,建立覆盖原料筛选、生产工艺优化、成品质量管控的全链条研发检测体系。双方表示,此次合作将推动行业从"制造"向"智造"升级,为婴幼儿提供更安全、营养的辅食产品。英氏集团强调将始终把科研创新与品质安全视为生命线,此次合作是产学研深度融合的典范。

  • 实验室严测到家庭信赖:友望(UWANT)洗地机以技术透明赢得用户深度信任

    友望携手知乎实验室推出云鲸2.0洗地机测评视频,通过五大极限场景测试验证产品性能:除臭测试中分层除味棒实现99.9%杀菌率;IPX6级防水设计解决机身清洁难题;低矮空间测试展现灵活清洁能力;双排悬浮恒压鲨鱼齿配合23000Pa吸力轻松解决毛发缠绕;AI基站实现自动清洁闭环。该测评创新采用用户全程监督的公开测试模式,以可视化数据验证产品实力,突破行业参数内卷困局。友望通过可浸泡式主机、推入式基站等创新设计重新定义洗地机标准,展现技术领导力。这场硬核测评不仅体现产品解决用户痛点的能力,更以"共情共创"理念建立用户信任,视频发布即获上万播放量,印证了科技产品用用户语言讲故事的沟通有效性。

  • 广电视听人工智能联合共建实验室成立,共筑智慧媒体发展新引擎

    5月22日,国家广播电视总局广播电视规划院、贵州多彩新媒体股份有限公司与腾讯云等联合成立"广电视听人工智能联合共建实验室",旨在推动AI技术与广电视听产业深度融合。实验室汇聚全国十余家省级广电新媒体单位及头部科技企业,聚焦机器学习、自然语言处理、计算机视觉等前沿技术领域,致力于技术突破、人才培养和产业升级。该实验室将作为"智慧广电"建设的重要创新平台,通过跨领域资源整合,构建开放创新生态,推动从内容生产到终端服务的全链条智能化升级,助力广电行业构建更高效、更智能的传播生态。

  • AI日报:阿里云通义灵码AI IDE上线;小米多模态大模型Xiaomi MiMo-VL开源;黑森林实验室推出FLUX.1Kontext

    【AI日报】今日AI领域重要动态:1)阿里云推出通义灵码AI IDE,集成千问3模型,显著提升编程效率;2)小米开源多模态大模型MiMo-VL-7B,性能超越更大规模闭源模型;3)黑森林实验室发布FLUX.1Kontext图像生成模型,支持文本和参考图像多次编辑;4)Midjourney V7渲染速度提升40%,新增用户投票功能;5)DeepSeek R1-0528大模型在AGI领域取得突破,性能超越xAI等公司;6)Hugging Face进军机器人市场,推出开源人形机器人HopeJR;7)字节跳动火山方舟接入DeepSeek最新大模型;8)Anthropic开源"电路追踪"工具,揭示大模型决策过程;9)阿里巴巴开源自主搜索AI智能体WebAgent;10)Hume发布低延迟语音语言模型EVI3;11)Manus Slides支持一键生成专业幻灯片;12)Runway Gen-4 References支持手机照片艺术化处理。

  • AI味道太浓?新型教培正在解决这件事

    大模型还在努力提高智商,模拟考题中拿高分,以此证明具备足够的智力解决人类抛出的问题。 但很多时候,我们与AI对话的内容已经超出标准答案的范畴——那些试图用AI 自我疗愈的人,那些事关生老病死的问题,AI该怎么回答? 即便不涉及这些情绪和价值观的问题,对大模型「AI味儿太浓,机器感太重」的吐槽声也不绝于耳。 用一位AI 训练师的话说,「AI 想象力不足,可�

  • AI这事上,腾讯终于干了一件很“野”的事

    一座城市由谁当家?这个问题乍看不需要思考。但如果只是把人类作为城市的主人,那实在有失偏颇。 中国有1500多种鸟类,深圳有447种,北京有530种。它们翱翔于城郊野外,也穿梭于楼宇之间。 拿北京来说,二环路的护城河可以看到白鹭,颐和园湖中总有鸳鸯,古建筑之间会有雨燕出没,城区漫步时常碰见乌鸫。 乌鸫,一种神奇的黑色小鸟,外形结实而优雅,个性胆大而不

  • 腾讯 AI 突围战:元宝接入微信只是小小的开始

    自ChatGPT问世以来,「AI革命」已经来到了第3个年头,科技巨头们手握大把资源,猛砸数千亿美金,试图抓住新一轮船票。 虽然涌现出一批又一批对话类AI大模型,还有令人眼花缭乱的功能,但尚未带来生产力革命性提升,也未「彻底改变」哪个行业。特别是对于那些每个季度都要发财报的巨头来说——巨额AI投资到底带来了什么回报?一直是热潮下的隐忧。 此时紧盯大厂财报�

  • 腾讯云TencentOS Server AI,助力荣耀打造高性能AI底座

    随着生成式AI技术爆发式增长,AI大模型开始渗透至手机领域。荣耀基于腾讯云TencentOS Server AI的TACO-LLM加速模块部署DeepSeek-R1等开源大模型,在内部场景应用中实现稳定性、可靠性和推理性能的大幅提升。测试显示,使用TACO-LLM后,首Token延迟最高降低6.25倍,吞吐提升2倍,端到端延迟降低100%。TACO-LLM通过投机采样技术实现大模型"并行"解码,从根本上解决计算密度问题,大幅提升解码效率。荣耀表示该方案打造了高性能AI底座,提供高吞吐低延迟的优化方案,能无缝整合现有大模型部署方案。腾讯云TACO-LLM针对企业级AI模型私有化部署挑战,专门优化了大语言模型内核运行效率。