站长之家首页 > 传媒 > 百度安全最新资讯 > 正文

百度安全亮相Black Hat Asia 2019:当云端深度学习模型失去“黑盒保护”

2019-04-03 11:48 · 稿源:站长之家用户投稿

在3月26日-29日于新加坡召开的Black Hat Asia 2019上,来自百度安全对于深度神经网络(DNN)模型算法安全性、Rowhammer新型攻击方法、Meltdown新变种等三大创新性研究报告成功入选。其中,在The Cost of Learning from the Best: How Prior Knowledge Weakens the Security of Deep Neural Networks的议题中,百度安全研究员们分享了在AI时代下机器学习算法安全领域的最新研究与实践。百度安全希望通过这个研究呼吁业内更加迫切的将人工智能模型算法的安全问题纳入研究范畴,携手工业界、学术界共同探索与建设安全的AI时代。

Black Hat是国际安全工业界的顶级会议之一,具有广泛的影响力。Black Hat每年分别在美国、欧洲、亚洲各举办一次安全信息技术峰会,会议聚焦于先进安全研究、发展和趋势,并以其强技术性、权威性、客观性引领未来安全思想和技术的走向。近年来,百度安全多次登上Black Hat的舞台,分享在AI安全、移动安全等领域的研究与实践成果。本届Black Hat Asia上,百度安全Tao Wei、Yunhan Jia、Zhenyu Zhong、Yulong Zhang、Qian Feng的研究成果再次引发业内关注。

深度学习模型容易受到对抗样本的攻击,这在业内已不是新鲜事。对图像数据叠加人类难以通过感官辨识到的细微扰动,就可以“欺骗”模型,指鹿为马,甚至无中生有。业内将这种影响AI决策边界的细微扰动称之为“对抗样本”(Adversarial Example Attack),攻击者往往提前知晓模型的架构、参数,既而利用特定算法针对性的生成“对抗样本”,诱导模型做出错误的、甚至攻击者预设的判别结果。此乃深度学习模型的“白盒攻击“,若应用到人脸识别、语音识别、无人驾驶等领域,不仅会导致严重的安全事故,也会破坏整个人工智能生态应用的进程与基本信任。

幸运的是,通常情况下,攻击者未必对深度学习模型内部架构、参数那么了若指掌,不知道它是怎么“想“的,也不知道它是怎么“学“的,此时制造“对抗样本“则要麻烦许多——此乃“黑盒攻击“,理论上需要攻击者采取类似于“穷举法”的手段逐一测试,才能找到那个形成攻击者预期结果的关键位点,所需时间足够长,难度系数足够高,过程中凭手感、碰运气成分足够大。当下以Google、Amazon为代表的国内外知名科技公司将云计算的运作模式与人工智能深度融合,将人工智能技术作为一种云服务(AIaaS,人工智能即服务)提供给用户和合作伙伴,除Amazon等少数公司会告知模型算法,绝大多数公司仅向用户反馈调用结果。这意味着云端深度学习模型是黑盒模型,理论上可有效抵御对抗样本的攻击。

然而,百度安全在Black Hat Asia 2019上带来的最新研究成果表明:黑盒模型制造的只是虚假的安全感,当模型架构和参数不可知的情况下,攻击者依然有机会实施对深度学习模型的欺骗。报告中Zhenyu Zhong、Yunhan Jia博士展示了百度安全目前已实现的黑盒模型多种攻击技术,并创新性的提出了“指纹攻击“(Fingerprinting attack)——即根据极少的请求结果推测出模型的结构,既而针对性的构造对抗样本。

百度安全研究员们设置了条件充足、非充足的两个黑盒攻击场景,同时结合两种不同的攻击手段——非定向攻击(Dispersion attack)、定向攻击(Target Score attack)进行比较,现场展示了指纹攻击的实验结果。如图1所示,在攻击者条件充足的情况下,攻击的绕过率分别高达86%(非定向)和65%(定向),而在条件不充足(比如仅支持2次请求)的情况下,攻击的绕过率也可以达到33%(非定向)和16%(定向)。这个实验结果表明,深度学习模型的“黑盒保护”看似安全,但是现实中还是存在弱点,而且在高效的攻击手段面前,这个弱点还很严重。

图1:深度学习模型有限请求绕过率

如果说对抗样本的发现,将传统安全产业框架延伸至机器学习模型算法安全性的范畴,那么当云端深度学习模型失去“黑盒保护”,则令这个问题更加严峻和复杂。这意味着,攻击者一旦破译了云端模型,未来可让AI系统丧失对城市交通、道路标识及车辆正确的识别能力,对车辆实施远程控制和对相关隐私信息的窃取,这个场景还可延伸至医疗保健、金融认证、工业控制等领域,蕴含巨大的安全风险。

攻击技术实现背后,引出了当前深度学习模型训练常用的迁移学习(Transfer Learning)方法,及其从安全视角存在的缺陷。传统机器学习通常有两个基本条件,即用于学习的训练样本和新的测试样本同一分布且相互独立,且必须有足够可用的训练样本,以确保模型的高准确和可靠性,但是实际中两个条件往往无法满足。迁移学习放宽了这两个基本条件,这种机器学习的训练方法可以利用仅有少量的标签训练建立出一个模型,同时令原先需要几天甚至几个星期的训练时间缩短至几小时甚至几分钟,让普通用户同样可以享受到深度学习带来的技术革新。例如ImageNet视觉对象识别数据库的训练数据集有超过1400万张的图像,输出1000个类别,利用迁移学习,普通用户可以在ImageNet模型的基础上训练出一个输出远远低于1000类的模型。

图2:迁移学习训练方法高效性及缺陷

近年来,业内针对迁移学习展开广泛的算法研究和实践,在迁移学习放宽了机器学习两大基本条件、将大数据模型迁移到小数据、个性化数据模型的训练过程中,从安全视角,并非无懈可击。例如,迁移学习这种训练方法的高效性,来自于特征提取层的架构和参数被重复利用,同时在迁移学习过程中保持特征值和架构不变。正因如此,模型所使用的特征提取层可以通过一定的攻击手段推算出来。百度安全研究员提出的“指纹攻击”就是用于推算黑盒模型使用的特征提取层的有效方法——通过对深度学习模型的特征提取层中的最后一层的神经元的离散值的最小化,从而使得目标分类的置信度降低,通过搜集的14个不同的公开模型(VGG16, VGG19, RESNET50, MobileNET等),分别构造输入样本使得对应的模型特征提取层的最后一层神经元的离散值最小化,并把该构造后的样本以API方式输入云端黑盒模型,并观察最后分类层的输出结果。最后,选取API返回结果中置信度最低的样本,并把生成该样本的网络架构作为云端模型的架构。当攻击者知晓云端模型特征提取层的架构之后,他就可以按照白盒的方式精确的构造对抗样本,从而对云端模型进行定向和非定向攻击。

与会,百度安全研究员介绍了百度安全针对对抗样本的解决思路,以及通过对抗训练强化模型提高深度学习模型鲁棒性的途径。百度安全针对人工智能算法安全性的研究,包括深度学习模型鲁棒性测试、形式化验证、机器识别恶意样本实时监测、黑白盒攻防等领域。此外,百度安全始终倡导通过新一代技术研发与开源,实现对安全问题的快速响应与对抗,百度安全实验室AdvBox对抗样本工具包针对AI算法模型提供安全性研究和解决方案,目前已应用于百度深度学习开源平台PaddlePaddle及当下主流深度学习平台,可高效地使用最新的生成方法构造对抗样本数据集用于对抗样本的特征统计、攻击全新的AI应用,加固业务AI模型,为模型安全性研究和应用提供重要的支持。

人工智能在拓宽传统产业格局框架的同时,也重塑了安全的防线边界,传统的安全防御已无法应对新时代的挑战。百度安全的研究证明,人工智能时代不仅要面对曾经的云管端的安全问题,机器学习算法自身的安全性亦存在漏洞,存在现实威胁性。包括对抗样本工具包AdvBox在内,百度安全2018年将首创的七大技术——KARMA系统自适应热修复、OpenRASP下一代云端安全防护系统、MesaLock Linux内存安全操作系统、MesaLink TLS下一代安全通信库、MesaTEE下一代可信安全计算服务、HugeGraph大规模图数据库——开源汇成“七种武器”,全面解决云管端以及大数据和算法层面的一系列安全风险问题,实现由传统安全时代的强管理向AI时代的强技术支撑下的核心管理的转变,全面应对AI时代下层出不穷且日益复杂的生态安全问题及挑战。

对抗样本在机器识别领域是一个实实在在的威胁,不仅存在于黑盒/白盒模型中,并且真实存在于物理世界中。百度安全针对机器学习模型漏洞进行物理攻击可行性研究,感兴趣的同学请点击“阅读原文”,回顾百度安全科学家在Black Hat Europe 2018上重现AI版大卫•科波菲尔的“神秘魔法”。

阅读原文链接:https://mp.weixin.qq.com/s/0ZuZUHV6RV7XlgZkRuv8Sg

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 大家在看
  • 相关推荐
  • 百度的「U计划」

    回顾百度的20年,李彦宏似乎一直在与过往的自己战斗。对于一家巨无霸公司来讲,每一次深蹲都是为了更有力量的起跳,一次次的“干掉”自己、重获新生。李彦宏就是这样,喜欢跟自己过不去。

  • 百度地图推出安全复工聚合页,出行、生活、住宿信息“一步到位”

    在中国疫情防控形势持续向好之际,各地逐渐踏上复工复产的有序节奏,面对坚守疫情防控和有序复工的双重考验,百度地图近日上线以“安全复工”为主题的功能聚合页,从出行、生活、就医、住宿、云旅游等各个方面,提供实时有效的防疫信息,助力公众安全复工。用户只需打开百度地图,喊出“小度小度,安全复工”便可进入。在“安全出行”方面,无论用户日常习惯驾车、打车还是乘公交,都能在聚合页中获取相应的出行信息。当驾车用户使

  • 安全防疫别担心,百度地图复工地图、疫情小区面面俱到

    近日,由于疫情下百度地图加班加点推出的迁徙大数据平台、疫情小区地图、发热门诊地图、地铁客流量查询等一系列为用户“操心”的功能便得到了中国信息通信研究院的“点赞”认可。在其发布的《疫情防控中的数据与智能应用研究报告(1.0版)》(以下简称《报告》)中指出,百度地图为公众及时播报疫情相关动态,推出了利于疫情防控的出行指南。从宅家到复工,从疫情蔓延到形势好转,你发现没?百度地图其实一直都在。例如《报告》中提到,

  • 百度搜索劲风算法

    百度劲风算法旨在控制恶意构造聚合页的问题对搜索用户的影响,保障搜索用户的体验、保证搜索结果公平,惩罚部分网站及智能小程序通过恶意构造聚合页面内容来获取搜索排名的行为。聚合页,是指页面并无文章主体内容,而是多个页面的索引链接围绕在特定主题下的信息整合页。

  • 百度网盘一举拿下两项ISO国际顶尖标准安全认证

    百度网盘官方微博今天对外宣布,该平台于 3 月 5 日一举拿下ISO/IEC27001 与ISO/IEC27018 两项国际顶尖标准的安全认证。

  • 百度成立百度健康(北京)科技有限公司,注册资本 3000 万元

    据天眼查数据显示,百度健康(北京)科技有限公司于 3 月 12 日成立,注册资本 3000 万元,由北京百度网讯科技有限公司全资控股,经营范围包括医疗器械 I、II 类、健康管理、健康咨询、心理咨询、零售药品及销售第三类医疗器械等。

  • 公共交通出行“安全指南”来了!北京地铁、公交客流量用百度地图可查

    随着新的一周到来,北京市众多企业或实行轮岗轮休、或缩短工时,有序复工正在逐步进行中,近期早晚高峰的车流量、人流量也随着复工开始回升。为营造更加安全的通勤环境,百度地图合作北京市交通委,继2月上线地铁客流量查询服务后,又于近日推出了公交客流量查询服务。用户通过百度地图即可随时查看北京市任意一条公交、地铁线路车厢内的客流量,判断是否拥挤,进而规划好自己的行程。(百度地图公交、地铁客流量查询服务)用户使用?

  • 百度字节跳动再交锋 百度推出“有驾”App主打专业汽车资讯

    近期有媒体报道百度推出一款汽车垂直领域资讯类产品“有驾”,正式进军汽车资讯平台。此举引发汽车资讯圈人士广泛关注。

  • 百度:近30天日均超3.5亿人次在百度搜索和浏览教育相关知识内容

    3月16日消息,百度发布的教育搜索大数据显示,近 30 天,日均超3. 5 亿人次在百度搜索、浏览教育相关的知识内容,同比上涨86%,知识类视频日均播放量达1. 5 亿,教育类智能小程序用户时长环比上涨30%。此外,搜索大数据显示,近 30 天,百度文库内小学、初中教育相关内容浏览量超 17 亿,语文成为最大的“流量主”;“儿童电子产品”相关内容的搜索热度近 30 天环比上涨200%。

  • 再见!百度搜索正式下线熊掌ID业务

    近日,百度熊掌ID官方发布公告称:站点品牌曝光功能即日起因业务调整下线。后续我们将通过算法挖掘优质站点进行站点名称展示,并逐步开放申请入口,请您持续提升网站内容质量,以便获得相应权益。

  • 拼多多市值再超百度 股价涨超4%

    拼多多股价又超过百度了!本周一,拼多多股价再次上涨,截至收盘,股价上涨4.84%,报37. 51 美元,市值达 436 亿美元再次超过百度(市值418. 65 亿美元)。

  • 全球塑胶网荣获百度爱采购2019年服务精英奖

    2020年3月25日,上午10时,主题为"集万众瞩目 揽众星捧月"的2019年度爱采购服务商线上颁奖典礼,在全民小视频"百度爱采购"直播间如期举行,百度爱采购总经理谢天作了致辞。颁奖直播在一小时的时间就吸引了近2000人观看,说明百度爱采购在B2B行业内的影响力可见一斑。作为首批经过重重严格审核成为百度爱采购官方授权服务商的全球塑胶网,凭借不俗的表现,在此次颁奖典礼中,拿下"2019年度行业先行奖"、"2019年度服务精英奖"两个颇

  • 疫情加速知识服务转型 百度领跑下沉市场布局

    我很赞同不少朋友谈及“为何此次疫情引起的关注远胜于 SARS”时,都将其归结于如今高度普及的互联网。的确,疫情信息的生产传播借着互联网的力量,变得更充足、更及时、更详细。

  • 百度Apollo,看智能交通如何分享“新基建”盛宴

    34 万亿的新基建,能带来多少机会,这是无法想象的。但有一点,中国本就走在全球领先位置的前沿技术和应用,将迎来新一波机会,而且是一波由国家意志推动、科技企业全面参与、最终将触及每个个体的科技应用大浪潮。

  • 什么是劲风算法,命中百度劲风算法,如何恢复?

    什么是劲风算法?简单理解:百度劲风算法主要是指针对恶意利用聚合页提升网站排名,而进行系统性的重新评估,并根据相关的识别参数与特征,针对目标页面,进行合理性调整的一个排序策略。

  • 「头条搜索」上线独立App,字节与百度掀起终极之战?

    经过长达半年时间的测试,字节跳动于近日推出“头条搜索”独立App。通过天眼查查询可知,“头条搜索”的开发者为北京字节跳动科技有限公司,疑似实际控制人为张一鸣。

  • 百度地图“数说”节后复工首月城市拥堵排名 沪京杭交通活跃明显上升

    随着新冠肺炎疫情得到有效控制,全国各地已陆续开启复工复产。近日,百度地图发布了全国 37 个主要城市春节假期后复工首月的拥堵数据及排名,以侧面反映各城市复工复产后通勤高峰期间道路通行压力状况。根据春节假期结束后复工首月( 2 月 3 日至 3 月 1 日)各城市的拥堵数据分析显示,全国拥堵排行TOP10 城市为:上海、北京、杭州、南京、天津、兰州、大连、沈阳、石家庄和济南。排名第一的上海市,通勤高峰拥堵指数为1.1902,较去

  • 7亿战投掌阅,窥看百度的内容“新基建”

    “一旦百度的生态系统成功建立,很多东西就都是原生的,也就意味着更好的用户服务和更高的营收转化。”3 月 17 日,疫情中平淡已久的创投圈传来一个不算小的新闻:百度 7 亿战略投资数字阅读分发平台掌阅科技。

  • 百度推出有驾App 正式进军汽车资讯领域

    近日,百度推出一款汽车垂直领域资讯类产品“有驾”,正式进军汽车资讯领域,欲与汽车之家、易车网、懂车帝等同向竞争。据了解,有驾的前身是百度汽车,分为三个功能区,分别是以“推荐”和“车世界”为组合的首页,还有以汽车百科与售卖为主的选车板块,最后就是用户的“个人中心”。

  • 百度推出“有驾”App,提供汽车选购及咨询等内容

    3月17日据Tech星球报道,百度近日推出了一款名为“有驾”的App产品。“有驾”分为三个功能区,分别是以“推荐”和“车世界”为组合的首页,还有以汽车百科与售卖为主的选车板块,最后就是用户的“个人中心”。首页中“推荐”,主要是以相关汽车行业的自媒体文章,所有的内容来源于百家号。而“车世界”这部分,则主打汽车短视频,内容来源于百度的好看视频。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议