首页 > 快讯 > 关键词 > 腾讯最新资讯 > 正文

腾讯朱雀实验室首度亮相 披露新型AI攻击手法

2020-08-19 20:36 · 稿源:Donews

DoNews 8月19日消息(记者 李昊原)今日,国内最权威的信息安全会议之一,第19届XCon安全焦点信息安全技术峰会于北京举行,腾讯朱雀实验室首度亮相公众视野。这个颇有神秘色彩的安全实验室由腾讯安全平台部孵化,专注于实战攻击技术研究和AI安全技术研究,以攻促防,守护腾讯业务及用户安全。

会上,腾讯朱雀实验室高级安全研究员nEINEI分享了一项AI安全创新研究:模拟实战中的黑客攻击路径,摆脱传统利用“样本投毒”的AI攻击方式,直接控制AI模型的神经元,为模型“植入后门”,在几乎无感的情况下,可实现完整的攻击验证。

这也是国内首个利用AI模型文件直接产生后门效果的攻击研究。该手法更贴近AI攻击实战场景,对于唤醒大众对AI模型安全问题的重视、进行针对性防御建设具有重要意义。

腾讯安全平台部负责人杨勇表示,当前AI已融入各行各业,安全从业者面临着更复杂、更多变的网络环境,我们已经看到了网络攻击武器AI化的趋势,除了框架这样的AI基础设施,数据、模型、算法,任何一个环节都是攻防的前线。作为安全工作者,必须走在业务之前,做到技术的与时俱进。

AI应用驶入深水区,安全暗礁不容忽视

自1956年,人工智能概念首次提出至今,AI相关研究不断深入,并与诸多技术领域广泛交叉。随着人工智能成为“新基建”七大版块中的重要一项,AI的产业应用也进一步驶入深水区。

然而,人工智能在带来便利之余,却也暗含巨大的安全隐患:几句含糊不清的噪音,智能音箱或许就能被恶意操控使得家门大开;一个交通指示牌上的小标记,也可能让自动驾驶车辆出现严重事故。在工业、农业、医疗、交通等各行业与AI深度融合的今天,如果AI被“攻陷”,后果将不堪设想。

这样的假设并非毫无根据。据腾讯朱雀实验室介绍,当前人工智能场景的实现依赖于大量数据样本,通过算法解析数据并从中学习,从而实现机器对真实世界情况的决策和预测。但数据却可能被污染,即“数据投毒,使算法模型出现偏差”。已有大量研究者通过数据投毒的方式,实现了对AI的攻击模拟。

随着技术研究的不断深入,安全专家也开始探索更高阶的攻击方式,通过模拟实战中的黑客攻击路径,从而针对性的进行防御建设。腾讯朱雀实验室发现,通过对AI模型文件的逆向分析,可绕过数据投毒环节,直接控制神经元,将AI模型改造为后门模型。甚至在保留正常功能的前提下,直接在AI模型文件中插入二进制攻击代码,或是改造模型文件为攻击载体来执行恶意代码,在隐秘、无感的情况下,进一步实现对神经网络的深层次攻击。

首秀操纵神经元,AI模型化身“大号木马”

如果将AI模型比喻为一座城,安全工作人员就是守卫城池的士兵,对流入城池的水源、食物等都有严密监控。但黑客修改神经元模型,就好像跳过了这一步,直接在城内“空投”了一个木马,用意想不到的方式控制了城市,可能带来巨大灾难。

会上,腾讯朱雀实验室展示了三种“空投木马”形式的AI模型高阶攻击手法。

首先是“AI供应链攻击”,通过逆向破解AI软件,植入恶意执行代码,AI模型即变为大号“木马“,受攻击者控制。如被投放到开源社区等,则可造成大范围AI供应链被污染。

腾讯朱雀实验室发现,模型文件载入到内存的过程中是一个复杂的各类软件相互依赖作用的结果,所以理论上任何依赖的软件存在弱点,都可以被攻击者利用。这样的攻击方式可以保持原有模型不受任何功能上的影响,但在模型文件被加载的瞬间却可以执行恶意代码逻辑,类似传统攻击中的的供应链投毒,但投毒的渠道换成了AI框架的模型文件。

其次是“重构模型后门”,通过在供给端修改文件,直接操纵修改AI模型的神经元,给AI模型“植入后门”,保持对正常功能影响较小,但在特定trigger触发下模型会产生定向输出结果,达到模型后门的效果。

“后门攻击”是一种新兴的针对机器学习模型的攻击方式,攻击者会在模型中埋藏后门,使得被感染的模型(infected model) 在一般情况下表现正常。但当后门触发器被激活时,模型的输出将变为攻击者预先设置的恶意目标。由于模型在后门未被触发之前表现正常,因此这种恶意的攻击行为很难被发现。

腾讯朱雀实验室从简单的线性回归模型和MNIST开始入手,利用启发算法,分析模型网络哪些层的神经元相对后门特性敏感,最终验证了模型感染的攻击可能性。在保持模型功能的准确性下降很小幅度内(~2%),通过控制若干个神经元数据信息,即可产生后门效果,在更大样本集上验证规模更大的网络CIFAR-10也同样证实了这一猜想。

相比投毒,这种攻击方式更为隐蔽,在攻击端直接操纵修改AI模型的同时,还能将对模型正常功能的影响降至最低,只有在攻击者设定的某个关键点被触发时,才会扣下攻击的扳机。

CIFAR-10 是一个包含60000张图片的数据集。其中每张照片为32*32的彩色照片,每个像素点包括RGB三个数值,数值范围 0 ~ 255。所有照片分属10个不同的类别,分别是 'airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck'其中五万张图片被划分为训练集,剩下的一万张图片属于测试集。

第三种攻击手法是通过“数据木马”在模型中隐藏信息,最终通过隐藏信息实现把AI模型转换为可执行恶意代码的攻击载体。

这种攻击手法是针对人工神经网络的训练与预测都是通过浮点运算(指浮点数参与浮点计算的运算,这种运算通常伴随着因为无法精确表示而进行的近似或舍入)的特性完成的。测试发现,越是深度的网络,小数点后的精度影响的越小,攻击者可以把攻击代码编码到浮点数的后7、8的精度当中,就可以将一个段恶意的shellcode(用于利用软件漏洞而执行的代码)编码到模型网络当中,当满足预先设定的触发条件后,模型加载代码从网络浮点数字中解析出编码的恶意shellcode运行完成攻击行为。模型当中每一个神经元的参数信息通常是由4字节浮点数字表示,例如 9d 2d 57 3f == 0.84053415 当就模型文件中的参数信息替换为 9d 2d 57 00 和 9d 2d 57 ff ,那么影响的精度就是 0.84053040~0.84054559,显然可以保持住浮点前4位小数保持不变。这样就可以把一个段恶意的shellcode攻击代码编码到了模型网络当中。

虽然攻击手法“出神入化”,腾讯朱雀实验室表示,普通大众也不必过于草木皆兵。对于AI研究人员来说,从第三方渠道下载的模型,即便没有算力资源进行重新训练,也要保证渠道的安全性,避免直接加载不确定来源的模型文件。对模型文件的加载使用也要做到心中有数,若攻击者需要配合一部分代码来完成攻击,那么是可以从代码检测中发现的,通过“模型可信加载”,每次z载模型进行交叉对比、数据校验,就可有效应对这种新型攻击手法。

  • 相关推荐
  • 大家在看
  • 腾讯广告"去掉广告"

    尽管 2018 年前后整个移动互联网圈就在高喊“流量枯竭”“红利消失”“下半场真的来了”,但不得不承认即使在整体流量增量有限的这几年,仍然有人能盘活存量、异军突起。

  • 腾讯回应与滴滴合作:滴滴提供服务,腾讯地图提供平台

    针对媒体报道的腾讯与滴滴合作推出打车业务一事,腾讯方面回应称:腾讯地图聚合打车业务是与滴滴深度合作,滴滴提供出行服务、安全调度等打车技术方案,而腾讯地图作为用户流量场景,最终流量导给滴滴。

  • 围棋大师阿里,产品经理腾讯

    长期以来,作为中国互联网行业最头部的两位选手,阿里、腾讯一直被拿来比较。外界喜欢拿着不同的标准、从不同角度观察、衡量这两家明星企业。

  • 我们要怎么向微商学直播?!腾讯总监的深度分享

    ​在微信生态内研究新玩法时,必定会绕不开微商。发展至今,无论我们如何看待,每逢微信生态内新趋势、新机会出现时,都在或多或少借鉴他们的策略。如过去的社群、朋友圈带货、社交电商,及今天仍处红利期的直播卖货。腾讯直播总监刘硕裴近期就在关注这一话题。见实也因此邀请刘硕裴于见实 2020 大会的私享会环节就此做深度分享。

  • 腾讯:WeChat可能无法在美国获得新用户

    9月20日,腾讯控股有限公司在官网发布公告称,由于美国商务部日前颁布的限制令,该公司旗下产品WeChat可能无法在美国获得新用户,且现有的美国用户在使用及更新时也可能受到负面影响。公告中还表示,腾讯将继续与美国政府及其他利益相关方进行磋商,以达成长远解决方案。

  • 有赞与腾讯广告启动“烽火计划3.0”

    有赞昨日宣布联手腾讯广告启动“烽火计划3.0”,从昨日起至11月30日,面向全国招募社交电商营销实践者。

  • 腾讯金融是什么?官网上有那些业务?

    说到腾讯,相信大家并不陌生。但是说到腾讯金融科技,或许还有很多小伙伴会觉得有点迷茫,不知道这个腾讯金融科技是什么,更不知道腾讯金融官网上都有哪些业务。跟着小编一起来了解下吧。1、 腾讯金融是什么?腾讯金融全称为“腾讯金融科技”(Tencent Financial Technology简称“FiT”),是腾讯公司提供移动支付与金融服务的综合业务平台。前身为于 2005 年成立的“财付通”, 2015 年 9 月正式升级为腾讯金融科技。秉承合规、精品?

  • 斗鱼虎牙宣布合并 腾讯成控股股东

    12日,虎牙直播和斗鱼直播联合宣布已经与Tiger Company和Nectarine Investment Limited签署最终的合并协议。合并完成后,虎牙、斗鱼将分别持有合并后公司约50%的股份,腾讯将拥有新公司67.5%投票权,成为控股股东。此外,虎牙现任CEO董荣杰和斗鱼现任CEO陈少杰将担任合并后新公司的联席CEO。如果过程一切顺利,交易最终将在2021年上半年完成,随后,斗鱼将从纳斯达克退市。(完)

  • 腾讯正式关闭微博:再见了!

    10年了,腾讯终于还是走出了这一步,正式宣布放弃微博业务。今天,腾讯正式宣布,旗下微博官网宣布已于2020年9月28日晚23时59分停止服务和运营,目前用户无法登陆,不过大家可进行个人微博内容

  • ​腾讯电商卷土重来:这次不太一样

    几年前就为人所知的“私域流量”,又热闹地进入人们视线。不断开放的小程序功能、插件成为商家企业们线上渠道的得力助手。

  • 腾讯已全资持股虎牙 后者或为合并后公司的主体

    天眼查信息显示,近日,广州虎牙信息科技有限公司发生股东、企业类型等多项工商变更。其中,原股东广州华多网络科技有限公司、广州沁绿投资咨询有限公司退出,新增股东为林芝腾讯科技有限公司,持股比例为100%。 同时,企业类型由其他有限责任公司变更为有限责任公司(法人独资)。

  • 重磅!杨格|腾讯QQfamily智能门锁全国启动大会将于10.15在深圳腾讯总部盛大召开

    随着 5G商用网络的全面布局和人工智能的高速发展。智能产业俨然成为增长最快的风口产业。站在时代的风口,抓住机遇就等于抓住了未来。智能门锁作为智能产业中“入口级”产品,自然是智能生态领域不可或缺的应用工具。杨格作为专注于智能门锁20年的行业领袖标杆,以“一生做好一件事,专心做好智能锁”为核心理念,为人类构建美好智能生活为奋斗愿景,定位全球智控门锁专家,一直以前瞻战略眼光布局未来,早在今年4月,杨格就与腾讯

  • 腾讯携手虎牙成立安全联合实验室

    DoNews10月10日消息(记者 程梦玲)10月10日,虎牙公司与腾讯云、腾讯安全共同宣布成立安全联合实验室。双方将融合腾讯在云服务器底层算力、内容风险识别、反欺诈和威胁情报等方面的技术能力优势与虎牙公司在内容风控、安全攻防和直播业务场景的实战积累,围绕AI安全应用、黑产打击、安全攻防、数据标注、人工审核等多个领域展开技术交流与业务合作,共同建设AI智能审核平台及安全攻防机制,并以AI安全能力的应用扩容,在虎牙直播?

  • 联姻近了!腾讯全资控股虎牙,与斗鱼化敌为友?

    虎鱼合并,又有新消息传来!近期腾讯对虎牙实现了全资控股、斗鱼消除被执行人影响,这些动作让许多看客们兴奋起来,年底完成合并的传闻也愈演愈烈。

  • 腾讯月饼曝光:简单得像一块“砖” 员工吐槽

    9月22日,今天腾讯曝光了自家的中秋月饼,包装盒像极了一块“砖”,颜色青灰色,摸起来也略带粗糙。这份月饼也遭受了自家人有史以来最猛烈的“吐槽”,有腾讯员工感叹:今

  • 斗鱼、虎牙合并板上钉钉!腾讯已全资持有虎牙

    腾讯一直在推动中国两大直播平台虎牙和斗鱼的合并事宜,9月18日,腾讯已100%持股虎牙。现在看来,斗鱼与虎牙的合并已经毫无悬念了。腾讯对虎牙的投资早在2017年就已经开始布局,今年4月份,腾

  • 腾讯控股拟增持10%环球音乐股权

    据彭博援引知情人士报道,腾讯控股计划在选择权 1 月份到期之前增持10%的环球音乐股权。腾讯可能会在年底之前行动。

  • 腾讯“场景”三连升,“交易场”不止于交易

    “腾讯既是社交场、内容场,更是交易场”。当腾讯公司高级副总裁林璟骅在“2020 Tencent IN 腾讯智慧营销峰会”上提到“交易场”概念的时候,似乎并没有人能够立即跟得上他的思路。

  • WeChat可能无法在美国获得新用户 腾讯官网公告全文

    【WeChat可能无法在美国获得新用户】对美商务部禁令, 9 月 20 日,腾讯控股有限公司在官网发布公告称,由于美国商务部日前颁布的限制令,该公司旗下产品WeChat可能无法在美国获得新用户,且现有的美国用户在使用及更新时也可能受到负面影响。

  • 成交才是私域的核心!腾讯广告看到"交易场"新现象

    ​最近数周,腾讯以前所未有的力度力推“交易场”概念,升级全线产品助力企业线上生意之余,马化腾也撰文深度讨论起这个新浪潮——腾讯期望做的不仅仅是无数企业数字化转型的助手,更期望成为“商业增长伙伴”。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签