首页 > 安全 > 关键词 > Gmail最新资讯 > 正文

人工智能黑客讲述:如何欺骗运用机器学习的安全软件?

2016-10-31 23:47 · 稿源:雷锋网

小编按:Clarence Chio,毕业于斯坦福大学,师从吴恩达,现为Shape Security 安全研究工程师。本文整理自Clarence Chio在GeekPwn 2016上的分享,小编做了不改变愿意的修改。

今天的主题是Gmail对抗式机器学习

我是学计算机科学、机器学习的,也是负责AI相关的研究者,在湾区那边做很多的数据挖掘、安防等相关的工作,我们非常高兴地看到现在很多的人都在做这些对抗机器学习或者深层次学习。

首先Gmail本身还是属于一个非常新兴的领域,虽然我们可以看到AI已经无处不见。很多网络安全的会议、包括一些世界级的会议,大家都在深入地使用这些技术。这也引起了我个人的兴趣,我也很好奇当看到安全这个主题下为什么Gmal机器学习为什么成为天作之合,当我们在工作中用了机器学习,你希望减少一些模型的功能。

我们看到有很多的人都能够利用机器学习来做很好的编程,就好象面部识别,里面有数以万计的探测、识别,这些机器学习都能够做很好。另外对于安防这块的主题,你可能也可以去控制你所产生的功能,但是考虑到不同的内容,你需要做的是有关的工程学,而不是减少这些功能。你要考虑到,在不同的对抗性的尝试当中如何把它放到某个结构里。

我今天做这个演讲主要是和大家分享如何来触发机器学习的模型,帮助它作出错误的决策。

如何欺骗深度神经网络

这几年这些理念讲的很多,另外一方面它也有自己的复杂性。

幻灯片上有我列出的架构,这个架构特别复杂。首先它能做分类,它分成三类。

这中间的三类的定义也是取决于不同的层当中的单元量,这也是非常经典的。

在做这种神经网络的培训当中我们会关注两个,一个是站点,你是往前推的,那可能会激活一系列的功能,取决于你所在的不同的单元,通过你来做这个输入,另外还有这种所谓的传播。你可能就要把一些不同的任务布置出去,有的时候你做的一些决定正好是错的,然后把它进行一个组合,看一看它对这个错误的决定背后,都有哪些是重要的影响因素。

同时要做不同的优化的算,否则的话很难作出追溯。还有对于每个单元你要考虑它的效应,去看每一批所包含的东西,看它背后隐藏的单元意味着什么。

对于对抗式机器学习已经好多年了,一个是提高它的假正面率,另一个是帮助它做错误的决策。根据不同的样本,我们在这边做一个展示。

首先这种图像成像错误的分类,这些分类的目标其实非常简单。我们首先会给到某一个具体的图像,比如说你是不是可以找到一个模型来告诉你这个图像是什么,这里面有飞机、鸟、汽车、船等等。

我们有一个所谓的预培训的概念,你可以在这个成像上增加一些噪音,来扰乱它。我们可以看到你引入的噪声可能会非常的小,非常的简单,不是非常的复杂。有的时候从神经网络引入噪声,然后你从神经端来迫使这个网络学习一些方法,可能要保持一定的稳健性。

这是一个小狗的例子,还有车,这里有不同图像的例子。而我在这里想做的是能够生成一些对抗性的网络,在这个图片上增加一些噪音,让它最后得出的结论是错的。一般这个狗得出的结论就应该是一只狗,正常的识别应该是没错的。

我在这里如果要输入第二个图,可能看起来它还应该是一张狗的图,但是如果把它输入了,看起来就把它视作一条船了,这个看起来非常怪,这其实就是属于有噪音的环境,这个对抗式的网络,包括它的预览就犯了错误。因为本身这个图也不是具有高解析度的图,后面再给大家看它是不是有额外的价值。同样对于汽车我也可以做类似的事情,虽然它明明是一台车,但是这上面把它视作是一只猫了。

它的格式是RGB的,也就是红绿蓝,从0到55,这是它所看起来的样子,有不同的显示值,有的时候是真彩的图像显示。在这里这个图可能就会对这个经典的分类器上面使它作出错误的决定。我们看在某一个具体的图像上面增加一些什么噪声能够让它作出错误的决定。

首先我们看到图像之间是有差异的,我在大家的大屏幕上来展示,这是一个所谓的噪声的图像,增加到整个狗上,大最终导致了分类器把这个图像分错了。让我们再回到前面这个幻灯片,再总结一下我们的三步走;首先我们也希望宏观的为大家介绍一下具体的操作流程,这是我们在培训阶段都会做的。

首先我们会输入一个分类器模型,完成这个过程之后一切都会变得很简单,如果这个过程不做的话我们可以使用其他不同类型的模型。同时我们也有专门的矩阵来对它的分类进行处理,第二步也是有三种不同的方法,在这三个步骤完成之后我们会对最一开始的输入来进行处理。这是我们整个第二部可能要走的的三步。

下面让我们再来看一看如何去攻破深度神经网络,这取决于你对这个网络的掌握程度。如果说你只有测试样本的话,你就必须要做一个具体的分析。比如说你想让这个羊看起来像条狗,你就要找到一定的方法来去欺骗。

在现实世界中,我们很多时候是不知道其系统使用的模型是什么,同时也不知道这些深度神经网络是用怎样的操作机制。但是,对于图像识别,我们可以做出很多不同的猜测。

我们可以做语音识别,同时大多数还可以使用一些通用的工具来进行处理。基本上我们可以有两个小的秘诀,就像我们做各种不同的研究也会发布相关的论文。我们不管你现在使用的模式是什么样的,我们要做的就是要制定出、打造出自己的模型,稍后给大家做示范。

接下来是我们想攻击的第二个目标,其实在美国它还是非常受欢迎的,是这个邮件服务。我们每次去上传了附件之后他们都会去扫描这个附件来检查是否有病毒。这种模式其实很多邮件服务商都在做,这也是及其学习的一种方式  。

谷歌也是会时不时的去改变他们本后所使用的模型。就在今天早上,弗吉尼亚大学做了研究,我们把这个漏洞提供给了谷歌,并且也对它进行了修复。

这里我们有一个恶意软件,这个软件会在虚拟层面运行,这里还有一个脚本,这里大家可以具体的看到它的代码情况,它是Windows的一个虚拟机,这是一个非常典型的软件,是今年3月份的时候出来的。

如果说你的资源已经被耗尽,它会告诉你正在扫描你的文件系统。在它完成扫描之后会这样来一句,除非你对它进行分区或者是做什么,或者是给我一点比特币之后我们才会为你解锁。

下面我们会来执行一下这一行代码,它基本上需要花40分钟的时间去生成。同时我要运行虚拟机,这里生成了5个样本,他们是有一定的可能性来越过这个分类器的安全防护体系。

我们通常来讲,通过5个样本的话,大概有两三个是可以通过这个防火墙的保护。我们来测试一下哪个可以通过这个分类器其实非常的简单。

为了再详细的介绍一下,我们会把这个文件重命名,然后再把它上传到附近。看起来还是没错的,它并没有去自动检查可能会存在的一些病毒,然后下载它,看看它是否存在软件攻击的问题。

我们来看一下这个软件是否继续在生效。现在让我们重新启动这个虚拟机,然后再去扫描你的文件系统。我们已经确定了是可以通过这个软件的扫描。它可以做各种不同格式的恶意软件的扫描,但是在这里,我们只要关注Windows,它们的标签都做的非常详细,今天也不会过多的赘述。

其实按照刚才所做的演示,即使在今天整个技术还是非常不错的。我们是把这些恶意软件提取到提取器上,再通过另外一个来对它进行传播。我们还有一些种子文件,这些种子文件都是这些恶意软件的样本,可以去帮助我们通过这类的分类器,进入到不断的扩展阶段,就像今年早期我们发布的相关的研究一样。

到了这里,尽管我们能做的还是受到了一些限制,但是我们依旧可以让整个系统变得更加安全。我们希望可以让我们的模型更好地去获得学习,并且更好地实现处理。

我们要做的第二件事情就是采用一些其他的技巧,这样可以降低整个样本的数量,同时也能够使整个文件的尺寸越来越小,加强我们的学习。

当然还有其他这些小技巧,我们在过去几年已经写过很多的研究论文,介绍了很多方法。在这里我们是把它称作深度攻击,同时它也是可以去配置的,哪怕它对深度学习了解的并不多,我们依旧可以自主地去实现,并且生成一些代码看看这个模型是否能够得到提升。

我们希望大家能够加入我们,让我们为网络环境的安全做出点贡献。除此指纹,还包括图像识别、自动识别交通灯都是我们在做的。所以说深度学习已经是我们关注的要点所在。

注:文中图系演讲者在GeekPwn上的ppt内容,小编()已获授权。

网友热搜:

  • 相关推荐
  • 大家在看
  • 最强 AI 企业!RealAI 荣获机器之心「2020 人工智能金炼奖」

    2020 年春节,一场突如其来的疫情打乱了所有人的节奏,但对于人工智能行业而言,疫情更是一场“危”中有“机”的考验。尽管产业环境和经济形势异常严峻,但真正优秀的人工智能公司必然是“内功深厚”,拥有硬核的技术实力、强大的抗风险能力以及灵活有效的战略调整能力。疫情冲击反而衡量出这些企业的真实力,他们将成为接下来人工智能产业落地中的中坚力量,甚至可以代表人工智能发展的未来。为了寻找这些良好应对特殊时期的最强?

  • 活久见!研究称人工智能大脑也需要睡眠休息

    人工智能要达到人类智力的水平还有很长的路要走,最新研究发现,但它可能想人类一样需要睡眠。美国洛斯阿拉莫斯国家实验室的研究人员在开发与人脑学习方式相似的神经网络时发现了这一现象。研究人员发现,人工大脑在连续自动化词典训练后变得不稳定。该技术包括对目标进行分类,而不将它们与现有的示例进行比较,而这相当累人。接着,研究人员试图通过让网络处在在噪音信号来解决这个问题,,这

  • 榕树贷款:人工智能加速落地 赋能金融服务智能化

    近日,随着国内疫情形势逐渐可控,二十余个省市陆续明确开学时间。复课后,学校作为高峰段、高流量、高聚集的地点,是疫情防控的重要“战场”之一。目前的体温测量,多为工作人员手持测温仪进行单独检测,费时费力不说,精度较低,而且这种近距离、接触式测温还有交叉感染风险。要在短时间内安全有效地对大量学生进行体温监测及筛查,非接触式测温机器人提供了极佳的解决方案。 红外热成像测温机器人有着红外与人工智能技术的双向

  • 人工智能+大数据,新浪舆情通用更“智能”的数据助力决策

    人工智能技术的应用早已深入人们的生活,语言翻译、智能音箱、导航系统、城市安防系统之中都能有人工智能技术的参与,在推动国家治理、优化企业运营策略的过程中,也能见到人工智能技术的应用。近年来,政企机构越来越重视聆听新媒体平台上的声音,并通过大数据分析和数据简报等方式挖掘信息价值,洞察民意以辅助自身决策。随着数字基础设施建设的逐步加速,互联网信息将成倍增长,并且以更复杂多样的形态和方式出现,人工智能技术

  • 编程猫CEO李天驰谈人工智能如何赋能教育

    【TechWeb】6月29日消息,编程猫创始人兼CEO李天驰受邀参加人民网联合全国高等学校计算机教育研究会举办的“共创智慧教育新生态”在线研讨会,就后疫情时代智慧教育建设分享了自己的观点。在谈及智慧教育如何落地、人工智能如何赋能教育方面,李天驰表示编程猫在普及人工智能教育以及编程教育上,发现在线教育在全国中小学落地,遇到的最大问题是缺少好的老师,为了解决在人工智能教育以及编程教育领域师资不匹配的问题,编程猫以

  • 工程师们为人工智能瓶颈提供了聪明、及时的解决方案

    莱斯大学的研究人员展示了设计创新的以数据为中心的计算硬件的方法,以及将硬件与机器学习算法共同设计的方法,这两种算法可以将能源效率提高两个数量级。机器学习是自动驾驶汽车和许多其他高科技应用背后的人工智能形式,它的进步开创了一个新的计算时代——以数据为中心的时代,并迫使工程师们重新思考75年来几乎没有受到挑战的计算体系结构的各个方面。电气与计算机工程助理教授林英彦(音)说:“问题是,对于目前机

  • 或许AI也需要睡个好觉?神经网络定期休息后,能更好地工作

    AI真的越来越像人了,它可能并不像我们想象中那样一刻不停的工作也能保持高效,一项最新研究显示,在模拟神经网络中,存在着和人类睡眠类似的“休息”状态,用于消除人工大脑因为不间断自学习导致的不稳定性。

  • AI落地最新前沿,达观数据携多款机器人新品将亮相世界人工智能大会

    备受关注的“ 2020 世界人工智能大会云端峰会”即将拉开帷幕。此次峰会由上海市政府主办。世界人工智能大会自从 2018 年以来成功举办了两届,伴随着上海人工智能产业发展从起步到壮大,已成为行业内具有一定国际影响力的品牌活动。本届大会在上海市经济和信息化委员会及相关委办局、区政府的指导下,国内文本智能处理领军企业达观数据携手浦东青联将举办“智能时代,‘语’你同行”行业论坛。 疫情之下,各行各业对线上自动化与?

  • 中关村数智人工智能产业联盟正式成立

    中关村作为我国高科技企业具体的重要载体,汇集了一大批在人工智能领域有引领地位的企业,在推动人工智能与经济社会各领域深度融合、加快传统行业数字化转型方面显现出良好的技术带动能力。为更好的发挥先进技术企业的带动和辐射作用,培育良好的人工智能产业生态,在中关村科技园区管理委员会的指导支持下,中关村数智人工智能产业联盟正式成立。 2020 年 4 月 9 日,中关村数智人工智能产业联盟(以下简称“联盟”)在北京市首钢?

  • 艾瑞:云测试——应用人工智能帮助企业降本增效

    撰写人: 王巍令、穆春阳关键词:云测试、人工智能导语:测试作为软件开发后到上线的最后一个环节,对于产品体验和质量,起着至关重要的作用。测试的发展先后经历了纯人工测试、工具化测试和云测试的三个阶段,目前,以深度学习为代表的人工智能技术与云测试紧密结合,可大幅提升测试的效率,降低测试的成本。测试行业的发展阶段国内测试企业服务主要经历了三个阶段:人工时代、工具时代、云测试时代。第一个阶段是人工测试时代,基本?

  • 腾讯申请“人脸活体检测”相关专利 用于人工智能领域

    据天眼查数据显示,近日,腾讯科技(深圳)有限公司新增数条专利信息,其中之一为:一种人脸活体检测的方法、相关装置、设备及存储介质。专利摘要显示,本申请公开了一种人脸活体检测的方法,该方法应用于人工智能领域。本申请由于同时考虑人脸图像的三维几何信息和表面材质信息,从而能够辨识出人脸图像的真实性,有效地抵御不同的人脸活体攻击方式。

  • 百度:未来十年将继续加大在人工智能等新基建领域的投入

    DoNews 6月19日消息(记者 吴丽)6月19日,百度宣布未来十年将继续加大在人工智能、芯片、云计算、数据中心等新基建领域的投入。据悉,目前百度拥有涵盖北京、保定、苏州、南京、广州、阳泉、西安、武汉、香港等10多个地区的数据中心。未来五年,预计培养 AI 人才500万,为中国智能经济和智能社会的发展提供 AI 人才保障。未来十年,预计到2030年,百度智能云服务器台数超过500万台。目前,百度已经培养 AI 人才超过100万。与复旦?

  • 榕树贷款:深耕金融科技 探索人工智能应用新场景

    目前,全球许多国家都在积极推进垃圾分类分拣技术的发展,大力促进垃圾分类过程的机械化、自动化。 2020 年是“十三五”规划的收官之年,也是污染攻坚的关键一年。在日前结束的全国两会上,环境治理议题再次成为热点。随着疫情基本得到控制,经济建设正在回归“快车道”,如何实现绿色恢复也提上了议程。 6 月,一种集大数据分析功能、投口防夹手功能、满载警示预警、温度检测功能、便捷投递灯、定位等多种功能于一体的新型智能垃

  • 榕树贷款:人工智能大显身手 金融服务提质增效

    20 世界 50 年代末,人工智能的概念被首次提出,奠定了社会技术布局的战略架构。然而受限于算法和算力的不成熟,未能实现大规模的应用和推广。随着社会的发展,新一代的大数据、云计算、物联网等一系列突破性的成功因素,真正将人工智能发展成人类科技智慧的金字塔尖,展现出不可估量的巨大潜力。 我国一直高度重视人工智能在各行业的落地应用,先后出台了多项政策鼓励支持人工智能产业的发展。根据国际数据公司IDC的报告,未来 5

  • 外媒:韩国科技公司拟建立联盟 增强人工智能技术

    6月3日消息,据国外媒体报道,据业内人士周三透露,在韩国政府的倡议下,韩国科技公司正着手建立联盟,以增强人工智能(AI)技术。周三,韩国电信、LG电子和LG Uplus宣布,它们将打造一个名为“AI One Team”的开放式创新平台,这似乎是针对另一个具有竞争力的AI联盟(包括SK电讯、三星电子和Kakao)所采取的战略举措。这三家公司补充说,他们将合作开发一种人工智能解决方案,通过韩国电信的全球流行病预防平台,帮助

  • Adobe人工智能加持 拍照应用Photoshop Camera上架

    DoNews 6月11日消息(记者 刘文轩)Adobe去年发布一款名为“Adobe Photoshop Camera”的拍照应用,号称可以为你上传到Instagram的照片打造出与众不同的创意。现在这款应用已经在Google Play Store和苹果App Store上架了。和其他拍照应用不同的是,Photoshop Camera结合Adobe Sensei人工智能,自动分辨照片中的物体,并提供风格建议。这些滤镜可以应用到人像、食物、风景等画面的拍摄,比如给你的拍摄对象换个背景,或是把阴沉的天?

  • 智能变革:英特尔HPC高性能计算与AI人工智能解决方案和实例

    在竞争日益激烈的环境中,数据中心作为传统信息化的基础,伴随着全面AI时代与5G、物联网的不断临近,企业希望获得出色的模拟和建模、人工智能(AI)和大数据分析功能,以便取得突破性的发现与创新,而高性能计算(HPC)基础设施能够为这些工作负载带来优势。 企业如果想在相同的 HPC 基础设施中运行 HPC、大数据分析和 AI 工作负载,优化的资源调度降低计算成本需要一个全面的融合HPC和AI集群的解决方案。 英特尔? 精选解决方案基于英

  • 工信部公示《科技抗疫表现突出的人工智能企业》,普渡科技抗疫表现突出

    6 月 19 日,中国工业和信息化部科技司公布《在科技支撑抗击新冠肺炎疫情中表现突出的人工智能企业》名单(排名不分先后),以示对科技抗疫的人工智能企业的肯定和鼓励。普渡科技因用智能技术在防疫抗疫中发挥了积极作用,有效践行了企业社会责任,取得了良好社会效果,有效践行了企业社会责任,荣登本次名单前列。2020 年 2 月 4 日,工业和信息化部科技司向社会发布了《充分发挥人工智能赋能效用 协力抗击新冠疫情的倡议书》。普渡

  • 地处三市核心区,在稻谷人工智能产业园办公是一种什么样的体验?

    朋友,最近有没有肝“动森”?最近这款日本的休闲创造性小游戏刷爆朋友圈,游戏中的无人小岛,成为了当代年轻人对于理想工作和生活的寄托。游戏中的惬意悠闲,万物即刻拥有的特点,对比上朝九晚五,压抑麻木的工作生活,游戏生活让人羡慕,更让不少上班族心生向往。如果有一个机会,让你能楼上办公,楼下放松,仿佛身处花园森林,这样的办公地是不是也很有吸引力?森林式办公,工作亦是享受如今,刻板的办公场所成为了大众第一印象,

  • 亚太区高性能计算和人工智能竞赛学生参赛队伍创新高

    2020年竞赛吸引了来自多个国家和地区的30支学生队伍,将角逐对最先进的高性能计算和人工智能技术的掌控和优化水平今年的竞赛也包含了“现实世界”的场景,参赛队伍需要完成两项针对COVID-19研究的挑战题目中国,北京 – 2020年 6 月 29 日– 国际高性能计算和人工智能咨询委员会(HPCAIAC)携手新加坡国家超级计算中心(NSCC)近日公布了报名参与由两家联合举办的第三届亚太区高性能计算和人工智能竞赛的参赛队伍,继续在高性能计?

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议