AI 会让鉴黄师失业吗?

2018-08-27 10:10 稿源:雷锋网  0条评论

文/郭佳

“唐马儒们”这两年可能正在面临前所未有的职业危机。

这个因饰演鉴黄师而走红的角色,激起了大家对鉴黄这个职业的好奇心。南方都市报就曾对这个群体做过调查,得出的结论是:

不知道的以为很黄很刺激,其实挺辛苦,也挺枯燥。平均下来一分钟要浏览 50 个以上的用户、上百张图片,所以盯着电脑都要全神贯注。

这个最先因“扫黄打非”而被公安部门设立的岗位,这些年也成为各大互联网公司的“刚需”岗位之一。但近年来由于 AI 技术的迅猛发展,辛苦又枯燥的鉴黄师工作正越来越多地被 AI 所替代。

近日,阿里就隆重推出了一位“AI 鉴黄师”。

 AI 会让鉴黄师失业吗?

据公开资料的介绍,阿里AI鉴黄师不仅能鉴别黄片黄图,连带有情色信息的语音内容都能识别,甚至无语义的呻吟声也能识别出来。

在 8 月 21 日举办 2018 网络安全生态峰会中,来自阿里巴巴安全部的的资深算法专家薛晖就为雷锋网编辑揭密了 AI 图片鉴黄背后的故事。

为什么需要 AI 鉴黄?

做电商出身的阿里巴巴,使用 AI 鉴黄最先来自于自身具体业务的需求。

 AI 会让鉴黄师失业吗?

“电商业务场景中,我们需要对大量商家的海量图片进行审核,那时还没有 AI 的说法,只是用机器学习的方法来进行图片的鉴别。”薛晖举例,在违规售卖的商家中,有些是非恶意的,比如一些受保护的动植物、某些品类的刀具甚至药物等,某些商家不知道这是不能卖的;还有一些就是“明知故犯”的,比如用色情图片恶意引流、发布一些做黑灰产的广告、色情光盘网盘地址等。

随着商家数量和图片数量的飞速增长,对效率更高、成本更低的AI鉴图就有了刚性需求。

后来,随着阿里在电商、大文娱、社交、云计算、O2O、视频、直播等领域的不断拓展,这项需求愈加强烈,凡是有UGC(用户产生内容)的业务,都会面临色情低俗风险。在数据量和算法技术有一定积累后,这项技术也同时开始对外进行输出,越来越多的企业和机构也开始使用这项服务。

雷锋网(公众号:雷锋网)发现, 2015 年阿里曾推出“绿网”平台,其最主要的功能之一就是进行色情、广告等信息的识别和拦截。薛晖告诉编辑,绿网的这个功能,当年也是阿里云战略中的一部分,AI 鉴黄的技术是作为赋能生态的一部分。

也就是说,目前用到 AI 鉴黄的业务早已不仅仅是淘宝中的商家,还有千千万万使用阿里云的企业们,比如,近两年因涉黄而颇受关注的多家直播网站。

从存储需求到鉴别需求,随着 AI 鉴黄技术的加入,这项技术会让阿里云争取到更多的用户。

鉴黄需要攻克的三个关键点

提到人工智能,都会关注三个问题:数据、算法、算力。

数据方面, “AI鉴黄师 ”首先需要有充足的学习资料。

薛晖透露,首先他们会写一些自动化爬取图片的脚本,可以直接到网页中相应区域进行图片爬取。目前他们总共浏览了近 2000 家网站,下载了超过 6000 万张疑似色情图片。

但这些图片仅仅是疑似图片,还需要进行去重,实际去重后约 2300 万张图片,在这之中,需要人工再进行标识,最终实际标注了超过 1300 万张图片,而这 1300 多万张图片就是最后模拟训练的原始数据库。

值得注意的是,数据标准的制定很重要,因为在不同国家、不同行业、不同时期,对色情的标准定义不一样,比如政府网站和直播网站,就会有不一样的标准,目前,他们可以给用户提供一定的操作空间,用户可以根据自身情况来对风险做不同层次的管控,比如他们会给用户很多选项,不同的用户可以自身需要来勾选。

第二个关键点是算法。

比如,10000 张图片里面往往有一张属于色情图片,但为了识别出这一张图片,机器扫描的成本是 10000 次,这就需要模型更轻,速度更快。据薛晖介绍,在算法方面,他们对神经网络进行了优化,并针对问题的特点做了专门的改进,不光有检测模型来拦截风险,还部署了图像检索引擎,来防范突发的风险。

第三是在算力方面,原来千万级别的样本,GPU机器单机单卡的情况下训练时间要近一个月,后来团队更换了网络结构并实现了多机多卡训练,将千万级别样本的训练时间控制在一周左右。换句话说,面对同样数量的图片,他们选择用更多的机器对图片进行训练,比如原本需要一周才能训练完的图片,现在只需要一天,这样就可以更快的对模型进行优化,提高迭代速度。

AI 与人工如何合作?

虽然 AI 鉴黄所发挥的能力越来越大,但目前仍然需要人工的干预。

据薛晖透露,目前 AI 鉴黄师对单张图的判断准确率要大于99.5%,通常来看,AI对一张图有三个判断:违规,可疑,正常。

对于违规和正常的图片,他们会放过,而对标注为可疑的图片,则需要人工审核,这部分数据占比较低,一般小于0.5%。打个比方,有 4 亿张图片要审,AI识别准确率为99.5%,只有 20 万张可疑的图片,需要人工再审核一次。

另外,据雷锋网了解,由于黑产针对安全模型也在不断进行对抗,比如业内很关注的对抗学习(GAN),明明肉眼看是一张色情图片,但黑产经过处理可以逃避检测。针对这样的情况,安全模型也需要不断进行升级,目前,阿里有跟浙大合作做这方面的研究,之后他们会公布研究结果。

在语音识别这方面,AI也仍需不断进行完善,在当天的峰会中,来自科大讯飞北京研究院副院长伍大勇举了这样一个例子,“黑夜总会过去,白天总会来临”,这句话本并没有什么问题,但在系统中一直过不去,原因是这句话当中有“夜总会”三个字。

也就是说,目前 AI 鉴黄并不能完全取代人工鉴黄,最佳的审核方式是智能为主,人工为辅。由于AI鉴黄师的出现,人工鉴黄师群体会变少,未来人工在图片鉴黄中的工作将主要集中于打标和审查可疑图片。

相关文章

相关热点

查看更多