首页 > 动态 > 关键词 > 网易最新资讯 > 正文

网易推易盾内容审核系统修炼出的鉴黄师“读心术”

2019-12-21 15:16 · 稿源:雷锋网

什么是鉴黄师?

在《 2019 网易易盾内容安全智能体系发布会》的现场,主讲台上的大屏幕中展示了这样一段街拍内容——一名主持人正随机拦住路人,并向他们逐一询问上述这一问题:

被问到的第一位“幸运观众”是位漂亮的小姐姐,当听到这个问题,她噗嗤一声笑了出来,上扬的嘴角似乎蕴含着百般回味。

紧接着,被询问的是一名清洁工伯伯。听到这个问题,他将半挂在脸上的口罩重新戴上,支支吾吾回了一句:“这个......是高科技,我只是个清洁工。”

第三位受访者,是位年轻气盛的小哥。当面对美女主持人的提问时,直接羞红了脸,却故作镇定地问道:“除了要看很多......资料,还有啥其他的吗?原来网易还有这个职位的吗?(恍然大悟)”

屏幕对面,熙熙攘攘的与会嘉宾对话声中传出阵阵嬉笑声。显然,这街拍内容是说到心坎里去了......

实际上,在网易易盾内部,鉴黄师这份工作又被称之为内容审核专员。然而,从事着这份职业的人们,似乎并不像我们想象中那样,每天过着“快活似神仙”的生活。

其实,内容审核并不像一般人们认为的只有鉴黄这一种。更多时候,他们所面对的是黄色、暴力、涉恐、等高敏感度的信息,更忍受着长期精神和身体上的创伤。然而,内容审核的漫漫长征路这才算刚刚开始。

借助此次大会,网易易盾产品总监饶晓艳向我们分享了她眼中那些内容审核人员的血泪史,并为突破种种人工审核难点推出了全新解决方案——智能内容审核管理系统。

其实,这一系统原本是网易内部使用的内哦让审核工具,随着这次发布会的亮相,也意味着该系统将正式对外开放。So,为啥网易易盾要选这个时间开放自己的内容审核管理系统?好不好用、有啥功能......

一块压垮人工审核的巨石

人工智能技术的发展,为很多行业带来便利。面对专一性较强的工作,这类机器在准确度、效率和持久性上完胜人类。

然而,它们偏偏拿内容审核没辙。

以鉴黄师为例,人工智能的鉴定只能将海量视频/图片中的疑似黄色内容筛选出来,它可以将审核范围从无边无际中圈出一个范围,但并不能像人一样理解每张图片中内容的准确含义。

试想,一张屁股的图片,如果整张拿给AI去识别,它准能认出这个少儿不宜。然而,如果我将图片切成四份并打乱顺序呢?如果是人,你那颗机智的大脑会立即还原出这张照片的原貌,而AI不行。

网易易盾CTO朱浩齐称,随着内容产量、形态的骤增,黑灰产也在不断学习和进化。很多时候他们会故意放出一些敏感内容来试探我们的AI审核机制,再在摸清规律后对图片进行处理。

用网易易盾内容审核系统,修炼出的鉴黄师“读心术”

用网易易盾内容审核系统,修炼出的鉴黄师“读心术”

他们试图将敏感位置做极小面积的覆盖,或干脆将图片切割成若干分,并在每张插入一个小的色情图片......只要与之前的鉴别逻辑不符,很容易骗过机器的眼睛。

解决问题的最简单办法,就是上肉眼。

然而,随着内容生产量的骤增、用户体验及负面事件风险提高以及审核标准严苛细化,各种各样非标准化审核管理系统犹如一块巨石压得审核工作者喘不过气。

一方面,在国内,主流的社交媒体平台的审核人员都达到上千人以上的规模;而在国外,Facebook在自有算法的情况下人工审核团队达到1. 5 万人,youtube在谷歌大脑算法支持的情况下同样在 2018 年审核团队达到了一万人。

由此可见,人机协同仍是未来很长一段时间的审核模式。然而,人毕竟不是机器,而是有血有肉的生命。

另一方面,内容商往往希望运营部门保障用户体验,不能让用户的等待时间过长。尽管人人皆知安全第一,但人工审核势必难以在这条先审后发抢夺用户的赛道上取得好成绩。

这意味着每天会有大量UGC的内容产生,人工审核与需求量不成正比。

当一目十行已经太少,需求量变成一目百行、一目万行的时候,对于人工审核又快又准的最低标准便显得近乎苛刻。

更何况,即使是人工审核,也会遇到对某些内容束手无策的时候。

今年 12 月,Facebook宣布拨款1. 3 亿美元建独立“删帖法庭”。用小扎的话说,在我们很难凭借一己之力来判断一个内容是否该被删除时,除了通过建立一个类似“最高法庭”的机构来决定,我们别无他法(扎克伯格成会邀请美国各界人士加入“删帖法庭”以保证公正性)。

很多内容的含义并不能用标签化的方式来判断,这是人工审核容易犯难的地方,而除了鉴别各类内容,人工审核还不得不应对杂乱无章的审核管理体系,这对于加快人工审核速率没有一点帮助。

会议现场,某社交平台的工作人员向雷锋网透露,自己每天要在三个审核管理平台进行交替作业:首先是头像昵称审核,再者是登录视频审核平台,如果收到举报还要再登录一个举报审核后台......

有 1000 个产品就有1000+个审核后台,这种感受,要比你把登了QQ登微信重复上万遍更崩溃,又何谈高效、准确的审核内容呢?

在饶晓艳看来,上述问题的背后体现的是业务需求先行,审核需求处于滞后的现状。归根结底,是快速发展的内容平台、日趋严苛的审核标准跟陈旧的审核系统之间的一种矛盾。审核系统没有专门的设计开发,不会考虑用户体验或者效率多少,这正是产生问题的原因所在。

打造人工审核的“助力装置”

打造全新的审核系统,无异于推到一栋楼重头再来。

饶晓艳在接受雷锋网独家采访时称,对技术人员来说,真的没人希望再做一次审核系统,这意味着以前的审核系统架构要完全推翻,根据新的审核需求重新定义整个系统,从底层重新来过。

然而,今天公布的智能审核管理系统已经是网易易盾对内推出的第三代审核系统了,再加上第一代的审核后台和第二代的多媒体审核系统,一同刻画出网易不同阶段对内容审核需求的诸多转变。

早期,这一系统并没有对外公开的计划。

但正如上述,在饶晓艳团队走访的众多客户中,他们听到了与网易内部需求类似的声音——审核人员和主管都十分关心审核系统是否能让业务有更好的审核效率,以及怎样能帮助节省成本。

基于以上,网易易盾决定将内部使用的这套审核管理工具产品化。至于究竟要打造怎样的审核系统,细细品味起来侧重点则是有点当初微软打造第一个电脑操作系统的感觉。

面对凌乱、繁杂的各种审核系统,网易易盾一方面希望自己的产品具备高集成度和开放性,另一方面更希望操作、视觉能在审核人员、弱势群体和无经验工作者面前体现出极度的界面友好。

那么,它们打算如何实现这些设想呢?

首先,是全面丰富。这是指审核管理系统容纳包含音视频内容、图片内容和文本内容的全生命周期的审核链路。

在此基础上,加入了极速审核、分类审核、二审模式、质检审核、全量审核以及部分审核的多选择,以应对适配不同审核时效、多重审核流程和不同进审核要求。

用网易易盾内容审核系统,修炼出的鉴黄师“读心术”

其次,是智能高效。是指各个审核逻辑都建立在智能引擎推动的前提之下,这是节省人力成本的关键,也是打造友好界面的关键(之后会提到)。

一方面,人工智能作为初期的审核工具,依据标签、模型算法,可以按照审核需求(业务、管理制度等)对内容进行聚列,并自动生成数据报表,以方便人工就单一特征进行定向审核(一般要求审核人员 20 分钟出帖)。

再者,是轻量灵活。俗话说办法总比困难多,面对层出不穷的新问题,定制化模块可以解决针对特有客户的需求进行专门设计。

然而,原本定义高集成度的审核管理系统,如果再加上无数个定制模块,这是否会让整个系统再次变得臃肿不堪呢?

饶晓艳认为,定制化模块并不意味着只能解决某家企业的单一问题。新的模块对应的一定是一个群体的共同需求,而随着市场需求量的不断增大,该模块则会直接被并入整个系统当中,毕竟这要比做第四个审核系统来的容易。

最后,是有温度。

人工审核有多难做?来,看一张图就能说明所有问题:

要求:请在 10 分钟内,从以下显示器的图片中,找出所有戴毛线帽子未成年小眼睛男性的照片。

让审核管理系统变得更友好,首先就是做好交互设计。

以审核直播电视墙画面为例,从产品化角度考虑,一个显示屏的审核目数越多,越有利于降低成本,提高审核效率,但势必会造成质量下降。

解决这一问题,易盾团队首先选择了几家内容厂商进行蹲点跟踪调查,并在百度百科上参考了浏览器审核可分辨极限值。

调查结果显示:正常人的最少可辨视觉阈值约0.5,即针对 22 寸1920* 1080 分辨率的显示器,人眼在显示器上可分辨最小像素值范围为9.81-16.23px,针对 24 寸1920* 1080 分辨率的显示器,人眼在显示器上可分辨最小像素值范围为9.39-15.53px。

最终,得出的结论是——显示器审核方式下,屏幕可分辨范围在10-15xp之间,是最小视觉可分辨范围,也就是说直播视频审核画面在 9 路、 12 路和 16 路是最舒适人眼的审核画面,这在交通监控后台中十分常见。

然而,面对海量的内容审核需求,这样的审核路数一定无法满足需求。对此,更多内容厂商会使用 38 路、 56 路(甚至更高)审核的画面。那么,该如何实现人工审核的舒适度与工作效率并驾齐驱呢?

饶晓艳称,人工智能引擎的应用,可以在多路数显示器上进行现有画面的自动审核,并通过提亮显色对高危、中危等不同程度的内容审核做出提示,以达到对舒适区之外可能遗漏的问题内容进行强提醒。

用网易易盾内容审核系统,修炼出的鉴黄师“读心术”

但人终究是要休息的,因此在系统中内置定时休息的提醒功能也十分有必要,这不光可以对审核人员起到保护作用,更有利于保障审核工作的常效执行。

其次,是趣味化。正如开篇提到的,审核内容并不像一般人们认为的只有鉴黄这一种。更多时候,他们所面对的是黄色、暴力、涉恐等高敏感度的信息。

为了达到适当调节审核人员精神的目的,该系统加入了勋章体系、积分体系和梦想体系,以此达到让评比、排名等高竞争力的信息的显示方式更加趣味化,促进人员成长体系的完善。

最后,网易易盾认为内容审核系统的升级,不光是品牌驱动、产品需求的刚性体现,更应该满足社会需求。因此,该系统内置了无障碍辅助设计,可以支持残障人士完成审核任务。

目前,网易易盾面向未来的第三代智能审核系统1. 0 版本已经上线,未来将会以一周一迭代的速度进行持续更新。

花絮

大会之后,雷锋网对饶晓艳进行了简单专访,以下为对话整理:

1、为什么审核管理系统的功能会在最后落实到“有温度”这块?

饶晓艳:体验舒适为导向,一方面来自于对人工审核性质的考虑,更多的还是基于客户的需求推动。在我们与客户的交流过程中,审核人员的身体、心理健康程度是直接影响审核结果和收益的重要组成部分。

未来,我们还将为无障碍辅助系统加入例如多语言切换等各种新的功能支持,以降低内容审核的成本。

2、您刚才有提到小扎建立“删帖法庭”的事情,在国内有类似的机构吗?如果各界人士都参与其中,这是否会成为新的节省人工的解决方案?

饶晓艳:首先,在国内网易易盾发起了内容安全联盟,其作用是当某产品的用户对内容进行投诉,但并没有得到任何的回应,这时该用户可以转诉给内容安全联盟,并由其联盟成员对该内容是否违规进行判断。

这种模式,并不能减缓厂商对于人工审核的大量需求。

第三方联盟的存在,主要是为了处理一些争议性较强的内容,其不保证及时性。对于内容厂商来说,快速、高效、准确、合规是内容审核的最大难点,“删帖法庭”的类似机构并不能有效解决这些问题。

即使启用了第三方审核,也能达到审核的相应标准,那这种服务一定是走付费标准的,不会从解决纷争的角度来处理这件事,这会增加厂商的审核成本。

3、一般视频、图片和文本不同方向的客户,哪一个在内容审核时需要的人力成本更高?

饶晓艳:这个没有办法以一概全。从审核效率来衡量,图片、视频的审核效率要高于文本,视频、图片的审核,归根结底都是图片的审核。相比文本审核,视频、图片的审核速度会高 1 倍多。

其主要原因在于审核方式的不同,图片的审核,在AI的加成下可以根据其特征、类型和内容导向做到批量审核,尽管文本也可以做聚类分析,但更需要人眼逐字逐句看过并参悟其含义,一目几百行的情况是不存在的。

  • 相关推荐
  • 大家在看
  • 网易伏羲论文入选AI顶会NeurIPS:优化算法提升强化学习效率

    近日,神经计算和机器学习领域极负盛名的顶级会议NeurIPS(Advances in Neural Information Processing Systems, 简称NeurIPS,前称NIPS)揭晓论文收录名单,网易伏羲实验室的论文《学习利用奖赏塑形:奖赏塑形的新方式》(《Learning to Utilize Shaping Rewards: A New Approach of Reward Shaping》)入选,凸显了国际顶尖的科研实力。NeurIPS(神经信息处理系统大会)是人工智能、机器学习和计算神经科学等领域的顶级学术会议

  • AI“独角兽”排队上市,但属于AI公司的胜利还没有到

    从震惊棋坛的阿法狗,才艺双绝的微软小冰,到疫情期间智能送餐机器人,及如今各地加紧上路的自动驾驶,在今天,AI几乎无处不在。9 月 15 日,上海证监局官网公示了 Yitu Limited (以下简称“依图科技”)辅导备案公示文件。文件显示,AI“独角兽”依图科技与国泰君安证券签署辅导协议,拟以公开发行中国存托凭证(CDR)的方式在A股上市。

  • 看了百度的年度 AI 秀,我们总结出今年全球 AI 三大趋势

    9 月 15 日举行的“百度世界 2020”大会展现了百度过去一年的 AI(人工智能)布局及成果,为国际 AI 大厂年度“交作业”补上了一片重要的拼图。谷歌、微软、亚马逊等实力雄厚的科技巨头,是全球 AI 产业的重要驱动力量。这些头部公司大多会每年一次集中发布新技术和新产品,每次都成为预测全球 AI 趋势的风向标。

  • 头部歌手入驻,为什么选择网易云?

    网易云音乐正式宣布与知名音乐人张杰达成全新战略合作。这意味着,双方将在音乐版权、个人音乐IP开发、音乐作品创作、在线音乐演出等进行创新运营。这也是头部歌手与流媒体音乐平台达成的首个涉及音乐版权、个人IP、运营宣发等多方面的深度合作模式。

  • 看看宜生健康如何让传统推拿师,变身月薪5万的理疗师

    一个普通的周五,普通的社畜小王接到一条普通的信息:“周六团建,大家有什么建议吗?”小王一声叹息:喝酒唱歌蹦迪,并非我本意。只想在床上躺着的小王灵光一现,“不如组团‘马杀鸡’?”,名为“枸杞续命党”的群内迅速达成共识。舒服地放空自己,接受技师恰到好处的揉捏——“健康爽”才是这届年轻人的生活需求。搭乘互联网+的东风,和消费者的新型需求,保健理疗这个传统产业开始“热”起来。月入五万的推拿师,用技术改变命?

  • IBM拆分行动对其AI计划的影响

    作为今年最大的新闻之一,IBM最近宣布将其IT服务业务拆分为一家新公司,临时名为NewCo。由其首席执行官Arvind Krishna领导的这一举动将导致全球第一家大型计算公司从其原有业务转向多元化,而专注于高利润率的云计算和AI业务。该公司相信,通过这一举动,两家公司将处于改善的增长轨迹,具有更出色的合作能力和捕获新机遇的能力。这样一来,IBM成为第一家从传统业务中分离出来,专注于新技术的大型计算公司。全新的IBM

    IBM
  • 北京市网信办约谈处罚网易网 网易新闻APP跟评功能暂停一周

    10月10日消息,据网信北京公众号消息,近日,北京市互联网信息办公室针对“网易新闻”APP、网易网“网易新闻”频道、“网易号”跟评环节多次传播违法违规信息等问题严肃约谈网易网负责人,责令其立即自查自纠、全面深入整改,严肃处理相关责任人。同时,北京市互联网信息办公室依法对网易网实施罚款等行政处罚。网易网负责人表示,将严格落实相关法律法规要求,深刻吸取教训,全面加强平台业务和人员管理,在整改期间?

  • 韩国政府公布AI发展目标 10年内开发50款AI芯片

    10月13日消息,据国外媒体报道,韩国政府周一公布了AI(人工智能)相关技术发展目标,力争10年内开发50款AI芯片。AI芯片是指高性能、高效的半导体,专门用于人工智能服务。韩国希望到2030年之前AI芯片在全球市占率达20%,并为该领域培育20家创新企业和3000名专家级人才等。今年1月,韩国科技部发布计划,将在未来10年内为人工智能(AI)半导体技术研发投资1万亿韩元(约合人民币59.4亿元)。计划还包括,三年内和民间?

  • 不思议迷宫纹身师冈布奥试炼通关攻略 纹身师冈布奥试炼操作顺序

    ​不思议迷宫在30日就开启了纹身师冈布奥试炼,很多玩家还不清楚纹身师的雪山试炼怎么通关,下面就来为大家详细的介绍一下不思议迷宫纹身师冈布奥试炼通关攻略。

  • 吃货福音?全球首份AI生成的调味诞生!

    常言道,唯美食与爱不可辜负,相信每一位吃货小伙伴都抵挡不了美食的诱惑。然而,用AI制作的食物调味,你绝对没吃过!

  • DNF召唤师护石属性汇总 新版本召唤师护石一览

    DNF最近韩服公布了最新的护石属性,很多玩家还不清楚召唤师的护石属性怎么样,下面就来为带啊详细的介绍一下。

    dnf
  • 网易被约谈处罚 因跟评环节多次传播违法违规信息

    近日,北京市互联网信息办公室针对“网易新闻”APP、网易网“网易新闻”频道、“网易号”跟评环节多次传播违法违规信息等问题严肃约谈网易网负责人,责令其立即自查自纠、全面深入整改,严肃处理相关责任人。

  • 网易跟贴整改 用户7天内无法发帖

    今天中午,网易新闻运营团队发文称,网易跟贴将下线整改 7 天,整改时间为 10 月 10 日 12 时至 10 月 17 日 12 时。

  • Microsoft Teams推出基于AI打造的实时消噪功能

    据外媒报道,微软宣布了一项针对MicrosoftTeams的新功能。这个预计将在11月推出的功能是一项基于AI打造的消噪系统,它的表现将要优于现版本对不受欢迎背景音的消除功能。

  • 网易云音乐宣布与张杰达成合作

    网易云音乐宣布与华语LIVE王张杰达成合作,并开启“∞无限音乐计划”。双方将在音乐版权、个人音乐IP开发、音乐作品创作、在线音乐演出等领域开展合作。

  • 揭秘“差评”产业链背后众生相:职业删评师、恶意差评师与评价管理师

    近日,天津市公安局成功破获了一起涉案 300 万元的“有偿删差评”案。此案是近年来全国破获此类案件中抓获人员最多、生态链条最完整、固定证据最全的典型案例之一。

  • Facebook计划利用AI帮助应对气候变化

    Facebook周三表示,作为应对气候变化项目的一部分,它将利用人工智能帮助科学家找到存储和使用可再生能源的新方法。这家社交网络正在与卡内基梅隆大学合作,以加速太阳能和风能的使用,这些能源比燃烧化石燃料更清洁,而化石燃料会造成空气污染和全球变暖。今年西海岸的热浪和森林大火之后,气候变化仍然是一个大问题。

  • AI时代的提分秘籍 | 看智能教师如何大展身手

    2020 年,一场疫情直接冲击传统教育行业,许多学校、机构从线下转至线上教学模式,如果说过去的在线教育弥补了地域空间的差距,那现阶段的在线教育则更集中于如何用“AI”赋能,短期高效地提升学习效果。可以说,“AI+教育”逐渐成为行业新变革的核心驱动,重构教育行业的各个环节,全面赋能机构教学全过程。那么,AI时代下,与孩子实现一对一交互的智能教师,又拥有怎样的提分秘籍呢?不妨一起来了解一下当下备受期待的“提分神器

  • 孙红雷哄娃神器曝光:呆萌外表下的AI智慧心

    他是幽默耍宝的“颜王”,他也是荧幕上深受观众喜爱的演技派,但与此同时他还有一个自己最在乎的身份——奶爸,他就是演员孙红雷。在演戏方面游刃有余的他,同样也会遇到和很多父母一样的难题——如何给孩子进行优质的启蒙教育,怎样保证孩子健康茁壮的成长呢?对此,国内AI+儿童领域知名品牌阿尔法蛋已连续深耕了十余年,系列智能硬件产品深受家长和孩子们的喜爱和肯定。9月22日,阿尔法蛋官宣孙红雷成为其首席智慧体验官,并同步上线孙红雷

  • 李开复:AI未来突破很难预测 奇点、超级智能过于乐观

    10月10日消息,创新工场发布了近日创新工场董事长兼CEO李开复博士与阿莱克斯·彭特兰教授(Alex Pentland)之间展开的关于”AI如何重塑人类社会”对话视频。在谈及“未来十年AI有没有可能取得重要突破?”时,李开复表示,“过去60多年来,深度学习是唯一的重大突破。在这之后,卷积神经网络(CNN)和GPT-3等都算是重要的改善,我对于人工智能的渐进式改善保持乐观。”“我觉得未来十年基础科研或许不会有大的突破。但

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签