首页 > 传媒 > 关键词 > 爬虫最新资讯 > 正文

从“反爬”到深度态势感知,航空业求解出行安全新路径

2018-12-05 10:25 · 稿源:站长之家用户投稿

       如果能够“看见”时间,那么人类都会变成以生命为长度、四维世界里的生物,详细记录每一刻发生的变化。在信息世界里,无形的时间维度被数据量化,记录着我们在城市之间的起降,出行的始终……点连成线,四维空间正变成现实。

       在航旅类App上,用户的飞行记录绽放出一张个人旅行地图。国际航空运输协会数据显示, 2017 年全球总共有 3680 万个航班起降,平均每天约有 10 万个航班,千万乘客与航空系统交互。在这张巨大的复杂地图里,无数真实用户行为里夹杂着巨量“虚假”访问,甚至恶意访问行为,其中最常见的就是网络爬虫

       按照授权情况,爬虫可以分为合法爬虫与恶意爬虫。云鼎实验室研究发现,恶意爬虫流量最大的行业就是出行,包括航空、酒店、火车票预定等。据《科技日报》报道,某订票网站的页面每分钟浏览量为1. 2 万人次,真实用户只有 500 人,爬虫流量占比95.8%。即使在淡季,虚假流量也占到网站访问总量的50%。由此带来的成本消耗和安全威胁令航空业不堪其扰。

       航司健康的寄生虫

       入侵航司网站的大量恶意爬虫,绝大部分来自黑灰产的爬虫团伙,在低频爬取航司票务信息后,通过虚假身份信息抢占打折机票,待真实用户通过灰色平台购买机票,再将占有的座位退出,随后使用真实用户身份购入。航司对旅客的优惠转化成第三方灰产的非法收入,使得航司蒙受损失,也增加了网站压力和系统成本。

       更令人不安的是,恶意爬虫通过模拟真实用户盗取后台接口,获取旅客姓名、身份证、手机号、积分卡等,造成个人信息泄露。而随着新网络安全法的实施,对于个人信息的保护显得尤为重要。

       无监督“免疫系统”实力反爬

       白山云科技创新研发的新一代态势感知平台ATD,专门针对解决上述问题。

       态势感知实际效果图

       通过查订比(查询订票比例,通常查订比越高,爬虫风险越大)确认反爬的效果。基于ATD无监督聚类算法,在繁杂的海量数据输入中,确定事件边界,根据场景作出相应处理。ATD深度引擎对访问请求进行特征建模形成向量,对于特征向量执行聚类算法,最终将小众群(离群点)进行行为特征引擎的监督,精准识别低频攻击,从而打击灰色产业爬取航班、票务信息,杜绝恶意占座等行为。在多家航司服务实践中,ATD算法模型不断自我优化完善,其中帮助某航司客户的查订比下降90%,有效防御恶意爬虫的围攻。

       某团伙爬虫示意图

       在保护旅客信息方面,ATD学习引擎针对用户登录行为按照文本特征和行为特征进行学习。

       文本特征学习针对业务接口的特征,包括输入参数数量、输入参数类型、输出返回码分布,输入和输出的对应关系等,建立业务在Request上的文本规律。当任何一个请求到来的时候,ATD就可以根据之前的文本特征学习结果作出异常概率评估。

       行为特征学习针对每个用户在一段时间内连续行为的规律,比如用户起始是在哪个页面,中间经过哪个接口,最终访问到达哪个业务。通过学习上述行为,ATD就可以为业务建立一套访问规律,从而当有异常行为发生时,可以迅速发现,准确识别。

       基于文本特征和行为特征,ATD在异常账号登录时可以准确判断,及时拦阻并对威胁事件全面回溯,保护用户隐私数据,防止财产损失甚至人身伤害。

       学习引擎未知问题发现

       不同于行业内其他安全产品,ATD所采用的无监督学习算法,无需人工介入,在不依赖人为设定规则的情况下即可捕捉潜在威胁。而其特有的旁路部署方式,在完全不影响业务系统的情况下,有效识别并旁路阻断风险。

       深度态势感知护航出行安全

       爬虫只是航司面对的威胁之一。此外,包括安检、系统、AODB(机场营运数据系统)等在内的多个航司系统,每天产生巨量交互日志,面对数据安全性、系统运营稳定性、信息准确性等问题,整体安全态势感知能力建设就显得尤其重要。

       白山ATD在旁路接入系统数据后,针对不同场景需求自动选用实时引擎、深度引擎和学习引擎,整个算法过程不依赖规则,即可在事件发生的同时立即作出分析,判断攻击状态成功与否、还原攻击场景、判断原因和内在维度特征,解放安全工程师的人力并提高其效率,最终实现对于航司外网、业务、内网的三层智能防御。

       与此同时,不同系统的接入不断为ATD算法提供关联分析的数据,自动为各个复杂事件建立内在关联,提高识别准确率和召回率,不断完善用户行为肖像。在风险来临之前,ATD通过极其微弱甚至不相关的异常行为即可预测潜在风险,站在系统整体高度实现深度态势感知。“通过ATD系统,不仅将查订比显著降低,而且自动感知出一些未知异常,包括验证码绕过、越权操作、非法占座等威胁,最终提高了航司整体安全性。” 白山合伙人兼工程副总裁丛磊说,“期待可以帮助更多企业通过AI算法在信息世界的四维空间里更安全。”

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 联想大数据平台、国产操作系统麒麟配对成功!自主可控

    从联想官方获悉,近日,由联想自主研发的软件产品——联想大数据平台LeapHD与银河麒麟高级服务器操作系统完成兼容性测试,达到了通用兼容性要求,及性能、可靠性要求,能够满足用户的

  • 中国工商银行重要业务系统首次在阿里自研数据库上运行:支撑万亿级资产

    从支付宝官方获悉,近日,中国工商银行重要业务系统——对公(法人)理财系统完成从大型主机到分布式架构改造,顺畅运行在金融级分布式数据库OceanBase之上。据悉,这是中国工商银行

  • 英国打造新一代雷达系统雷达系统:号称全球最先进

    据外媒最新报道称,英国正在开发全新的雷达技术,而据说这会是全球最先进的雷达技术,其会被装备到新一代战斗机上。据悉,英国Leonardo公司正在开发的一种新型雷达系统。该系统被称为多功能射

  • 乘云而上的数据库,在数据中寻找确定性

    数据是信息建设之基「云优先」已经成为企业信息化建设的主旋律,「新基建」定义了云计算是基础设施也是操作系统。云计算由于在降本增效和弹性扩展等方面的优越性,越发受到企业青睐。在黑天鹅频现的 2020 年,企业面对的风险与挑战愈发严峻,企业间的竞争也十分激烈,如何在这些不确定中寻找确定性?答案是:深耕数据,升值业务,在数据中寻找确定性。利用云平台作为基础支撑,以数据驱动进行精细化运营,满足用户的多元化需求。而?

  • 硬盘恢复数据技巧:硬盘坏了数据可以恢复吗?

    电脑硬盘是我们日常使用电脑的时候经常打交道的一个装置。电脑硬盘分为内存和外存,内存负责存储电脑系统装置和电脑中的程序运行工作,外存负责电脑文件数据存储工作,因此硬盘负载着一台电脑最重要的信息,一旦不小心格式化会造成很大的麻烦。那么电脑硬盘格式化了还能恢复吗?下面介绍的这个方法非常简单。一、硬盘格式化数据恢复方法第一步:首先我们需要一些工具类软件来协助我们恢复数据。打开浏览器搜索“嗨格式数据恢复大师

  • 硬盘坏了数据可以恢复吗?硬盘数据恢复技巧

    硬盘坏了数据可以恢复吗?硬盘是计算机中最主要的存储设备,不管是电脑上使用的硬盘还是移动硬盘,其中都存储了重要的数据文件,在长期的使用和操作下,硬盘也很容易出现损坏的情况,那么硬盘坏了数据该怎么恢复呢?接下来就为大家介绍对应的操作步骤。第一步:下载安装”嗨格式数据恢复大师“,选择主界面的”磁盘分区丢失恢复“。【嗨格式数据恢复大师】 第二步:选择要恢复的分区,然后点击搜索分区。 第三步:待查找到该分区,

  • 钟表制造商Swatch:上周末IT系统遭遇网络攻击,已关闭部分系统

    ​路透社于9月29日周二报道称,全球最大钟表制造商Swatch集团今天表示,在周末发现IT系统遭遇网络攻击后,该公司关闭了部分技术系统。部分系统的关闭影响了其部分业务,但Swatch没有具体说明哪些业务受到影响。

  • 硬盘坏了数据可以恢复吗?硬盘数据恢复攻略分享

    硬盘坏了数据可以恢复吗?关于硬盘数据恢复方法,我想我是有发言权的,前两天不知道什么原因,电脑开机之后硬盘F盘保存的电影等大文件都找不到了,存放电影的文件夹是空,可能是我不小心误删了,然后我就疯狂找硬盘数据恢复方法想要恢复回来,经过我不懈的努力,尝试了很多恢复方法以及硬盘数据恢复软件后,终于找回了误删除的硬盘数据!一、选择一款靠谱的数据恢复软件,我一般使用的是【嗨格式数据恢复大师】这款数据恢复软件有?

  • 深度好文:用数据重建快消流通秩序——舟谱数据邹文标访谈

    据国家统计局数据显示,2020年1-6月份,社会消费品零售总额172,256亿元,6月份,社会消费品零售总额33,526亿元。庞大的市场体量之下,自然也蕴含着更多的机会与挑战。舟谱数据联合创始人邹文标在接受亿欧访谈时讲到,从中国快消行业流通现象来看,当前线下的量大于线上,线下渠道高度分散,商品从仓库到货架,尤为分散的路径就会带来效率的问题,自然也就会存在机会点:能让如此分散变得集中一些,效率就会提升。然而线下经销商物?

  • 秒级追踪+爆款预测,魔方数据成直播大数据黑马

    魔方数据(iambox)是致力于快手全领域流量追踪分析的大数据服务平台,为用户提供快手直播广场即时数据分析、直播数据动态大屏呈现、爆款视频趋势追踪、数据定制化等服务,助力快手账号运营优化,辅助流量变现、电商带货。同时为广告主、商业合作等用户提供可靠的数据支持,帮助发掘优质账号、播主、机构。 自上线以来,魔方数据持续深耕快手大数据挖掘分析,以更及时、更真实、更可靠,更多维度的数据追踪分析功能,成为快手大数据

  • 消费,不该被困在系统里

    残酷的时代笑着出牌,是一把叫做“直播带货”的同花顺。没人能逃过被裹挟的命运——阿里把“商家直播生态占 6 成GMV”写进了一季报;抖音宣布“直播间不支持第三方来源商品”引发热议;宿华和徐雷亲自出场,为京东快手“联姻”背书……

  • 天涯明月刀手游琅纹系统技巧攻略 琅纹系统怎么玩

    ​天涯明月刀手游中是有一个琅纹系统,这个琅纹系统可以提升你角色的战斗力,很多玩家还不清楚这个琅纹系统怎么玩,下面就来为大家详细的介绍一下。

  • 智邦国际工业企业数字化管理系统:一套系统实现N种智造

    从大批量生产到大规模定制,从传统制造到智能制造,数字化变革如火如荼。但纵观很多工业企业,仍在依靠手工、纸质、表格等作业。生产环节那么多,信息无法共享,时效性差,准确率低,企业无论内外不能实时通信和响应,经常陷入被动和失控的困境。与此同时,原料、人工、物流等成本攀升,客户对质量、交付和服务的要求也在不断提升,竞争日趋激烈,利润越来越薄……向数字化管理转型,用新技术、新模式打造新竞争力,实现客户、生产、服务等实时连

  • 又被“大数据杀熟”了?

    这是 7 月国内跨省旅游开放后的第一个节假日,又遇上国庆中秋连休 8 天。携程数据显示,预计今年国庆中秋 8 天长假旅游人次可能达到 6 亿。

  • 数据恢复大师恢复秘籍:有什么免费的硬盘数据恢复软件吗?

    有什么免费的硬盘数据恢复软件吗?相信很多的小伙伴都想知道电脑数据恢复的秘籍,因为我们大多数人在使用电脑时,经常会因为不小心误删或者磁盘格式化、损坏等原因导致重要电脑硬盘数据丢失的情况。也正是因为这样,目前市面上出现了很多的数据恢复软件。我们都知道,这些软件想要实现真正的数据恢复效果都是需要付费的!那么,电脑上最好用且免费的数据恢复软件有哪些呢?其实很简单,以下将为大家分享两款不同类型的,快来了解下

  • 天涯明月刀手游捏脸数据汇总 超火明星捏脸数据大全

    天涯明月刀手游上线了,其中进入游戏的第一件事情就是捏脸,有一个好的角色颜值对什么都重要,下面就来为大家分享一下一些当前大火的明星例如杨超越等人的捏脸数据,帮助大家捏脸。

  • iPhone12数据线接口是什么样 苹果12数据线和以前一样吗

    苹果iPhone12系列发布会上,苹果公司宣布在iPhone12系列包装盒中将不再附带充电器插头和耳机,但是会配备一条数据线,那么这条数据线和以前的是一样吗,我们来一起看下。

  • 聚数据人才,助产业腾飞——2020 CCF大数据与计算智能大赛北京起航

    10 月 13 日,中国计算机学会(CCF)主办的2020 CCF大数据与计算智能大赛(2020 CCF BDCI)在北京正式启幕。本次大赛将携手高校、名企、专家及DataFountain平台等多方力量,关注技术发展与人才培养,助力推动我国大数据技术及产业生态发展。为进一步扩大参与规模及影响力,2020 CCF BDCI联合CCF大数据专家委员会、CCF自然语言处理专业委员会、CCF数据库专业委员会、CCF高性能计算专业委员会、CCF人工智能与模式识别专业委员会、CCF

  • 天涯明月刀手游捏脸数据怎么导入 捏脸数据导入方法教程攻略

    天涯明月刀手游中捏脸是游戏的一大特色,游戏中有非常强大的捏脸功能,很多玩家还不清楚怎么导入捏脸数据,下面就来为大家分享一下捏脸数据导入方法教程攻略。

  • 知瓜数据丨分析穿搭行业TOP100 播主数据,发现10. 10 秋冬大赏爆火规律

    2020 双 10 秋冬大赏(暖冬节)已经结束,这场众多播主积极参与的秋冬服饰直播盛宴,让[时髦穿搭]行业在当日的直播观看人数达近 30 日最高。薇娅直播间更是表现极佳,获得了680W+的观看UV,带货GMV(估)达到了6. 12 亿,成为当日热门直播榜TOP1!(知瓜数据-行业流量大盘)双 10 秋冬大赏是淘宝直播S级活动,品类范围为秋冬服饰(重点包括皮衣皮草、毛呢、羊绒、羽绒、棉服等),对于[时髦穿搭]行业的播主来说十分具有参与意义。以下聚焦知

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签