首页 > 评论 > 关键词 > AI技术最新资讯 > 正文

AI 会让鉴黄师失业吗?

2018-08-27 10:10 · 稿源:雷锋网

文/郭佳

“唐马儒们”这两年可能正在面临前所未有的职业危机。

这个因饰演鉴黄师而走红的角色,激起了大家对鉴黄这个职业的好奇心。南方都市报就曾对这个群体做过调查,得出的结论是:

不知道的以为很黄很刺激,其实挺辛苦,也挺枯燥。平均下来一分钟要浏览 50 个以上的用户、上百张图片,所以盯着电脑都要全神贯注。

这个最先因“扫黄打非”而被公安部门设立的岗位,这些年也成为各大互联网公司的“刚需”岗位之一。但近年来由于 AI 技术的迅猛发展,辛苦又枯燥的鉴黄师工作正越来越多地被 AI 所替代。

近日,阿里就隆重推出了一位“AI 鉴黄师”。

据公开资料的介绍,阿里AI鉴黄师不仅能鉴别黄片黄图,连带有情色信息的语音内容都能识别,甚至无语义的呻吟声也能识别出来。

在 8 月 21 日举办 2018 网络安全生态峰会中,来自阿里巴巴安全部的的资深算法专家薛晖就为雷锋网编辑揭密了 AI 图片鉴黄背后的故事。

为什么需要 AI 鉴黄?

做电商出身的阿里巴巴,使用 AI 鉴黄最先来自于自身具体业务的需求。

 AI 会让鉴黄师失业吗?

“电商业务场景中,我们需要对大量商家的海量图片进行审核,那时还没有 AI 的说法,只是用机器学习的方法来进行图片的鉴别。”薛晖举例,在违规售卖的商家中,有些是非恶意的,比如一些受保护的动植物、某些品类的刀具甚至药物等,某些商家不知道这是不能卖的;还有一些就是“明知故犯”的,比如用色情图片恶意引流、发布一些做黑灰产的广告、色情光盘网盘地址等。

随着商家数量和图片数量的飞速增长,对效率更高、成本更低的AI鉴图就有了刚性需求。

后来,随着阿里在电商、大文娱、社交、云计算、O2O、视频、直播等领域的不断拓展,这项需求愈加强烈,凡是有UGC(用户产生内容)的业务,都会面临色情低俗风险。在数据量和算法技术有一定积累后,这项技术也同时开始对外进行输出,越来越多的企业和机构也开始使用这项服务。

雷锋网(公众号:雷锋网)发现, 2015 年阿里曾推出“绿网”平台,其最主要的功能之一就是进行色情、广告等信息的识别和拦截。薛晖告诉编辑,绿网的这个功能,当年也是阿里云战略中的一部分,AI 鉴黄的技术是作为赋能生态的一部分。

也就是说,目前用到 AI 鉴黄的业务早已不仅仅是淘宝中的商家,还有千千万万使用阿里云的企业们,比如,近两年因涉黄而颇受关注的多家直播网站。

从存储需求到鉴别需求,随着 AI 鉴黄技术的加入,这项技术会让阿里云争取到更多的用户。

鉴黄需要攻克的三个关键点

提到人工智能,都会关注三个问题:数据、算法、算力。

数据方面, “AI鉴黄师 ”首先需要有充足的学习资料。

薛晖透露,首先他们会写一些自动化爬取图片的脚本,可以直接到网页中相应区域进行图片爬取。目前他们总共浏览了近 2000 家网站,下载了超过 6000 万张疑似色情图片。

但这些图片仅仅是疑似图片,还需要进行去重,实际去重后约 2300 万张图片,在这之中,需要人工再进行标识,最终实际标注了超过 1300 万张图片,而这 1300 多万张图片就是最后模拟训练的原始数据库。

值得注意的是,数据标准的制定很重要,因为在不同国家、不同行业、不同时期,对色情的标准定义不一样,比如政府网站和直播网站,就会有不一样的标准,目前,他们可以给用户提供一定的操作空间,用户可以根据自身情况来对风险做不同层次的管控,比如他们会给用户很多选项,不同的用户可以自身需要来勾选。

第二个关键点是算法。

比如,10000 张图片里面往往有一张属于色情图片,但为了识别出这一张图片,机器扫描的成本是 10000 次,这就需要模型更轻,速度更快。据薛晖介绍,在算法方面,他们对神经网络进行了优化,并针对问题的特点做了专门的改进,不光有检测模型来拦截风险,还部署了图像检索引擎,来防范突发的风险。

第三是在算力方面,原来千万级别的样本,GPU机器单机单卡的情况下训练时间要近一个月,后来团队更换了网络结构并实现了多机多卡训练,将千万级别样本的训练时间控制在一周左右。换句话说,面对同样数量的图片,他们选择用更多的机器对图片进行训练,比如原本需要一周才能训练完的图片,现在只需要一天,这样就可以更快的对模型进行优化,提高迭代速度。

AI 与人工如何合作?

虽然 AI 鉴黄所发挥的能力越来越大,但目前仍然需要人工的干预。

据薛晖透露,目前 AI 鉴黄师对单张图的判断准确率要大于99.5%,通常来看,AI对一张图有三个判断:违规,可疑,正常。

对于违规和正常的图片,他们会放过,而对标注为可疑的图片,则需要人工审核,这部分数据占比较低,一般小于0.5%。打个比方,有 4 亿张图片要审,AI识别准确率为99.5%,只有 20 万张可疑的图片,需要人工再审核一次。

另外,据雷锋网了解,由于黑产针对安全模型也在不断进行对抗,比如业内很关注的对抗学习(GAN),明明肉眼看是一张色情图片,但黑产经过处理可以逃避检测。针对这样的情况,安全模型也需要不断进行升级,目前,阿里有跟浙大合作做这方面的研究,之后他们会公布研究结果。

在语音识别这方面,AI也仍需不断进行完善,在当天的峰会中,来自科大讯飞北京研究院副院长伍大勇举了这样一个例子,“黑夜总会过去,白天总会来临”,这句话本并没有什么问题,但在系统中一直过不去,原因是这句话当中有“夜总会”三个字。

也就是说,目前 AI 鉴黄并不能完全取代人工鉴黄,最佳的审核方式是智能为主,人工为辅。由于AI鉴黄师的出现,人工鉴黄师群体会变少,未来人工在图片鉴黄中的工作将主要集中于打标和审查可疑图片。

  • 相关推荐
  • 大家在看
  • 外媒:韩国科技公司拟建立联盟 增强人工智能技术

    6月3日消息,据国外媒体报道,据业内人士周三透露,在韩国政府的倡议下,韩国科技公司正着手建立联盟,以增强人工智能(AI)技术。周三,韩国电信、LG电子和LG Uplus宣布,它们将打造一个名为“AI One Team”的开放式创新平台,这似乎是针对另一个具有竞争力的AI联盟(包括SK电讯、三星电子和Kakao)所采取的战略举措。这三家公司补充说,他们将合作开发一种人工智能解决方案,通过韩国电信的全球流行病预防平台,帮助

  • 智能变革:英特尔HPC高性能计算与AI人工智能解决方案和实例

    在竞争日益激烈的环境中,数据中心作为传统信息化的基础,伴随着全面AI时代与5G、物联网的不断临近,企业希望获得出色的模拟和建模、人工智能(AI)和大数据分析功能,以便取得突破性的发现与创新,而高性能计算(HPC)基础设施能够为这些工作负载带来优势。 企业如果想在相同的 HPC 基础设施中运行 HPC、大数据分析和 AI 工作负载,优化的资源调度降低计算成本需要一个全面的融合HPC和AI集群的解决方案。 英特尔? 精选解决方案基于英

  • 活久见!研究称人工智能大脑也需要睡眠休息

    人工智能要达到人类智力的水平还有很长的路要走,最新研究发现,但它可能想人类一样需要睡眠。美国洛斯阿拉莫斯国家实验室的研究人员在开发与人脑学习方式相似的神经网络时发现了这一现象。研究人员发现,人工大脑在连续自动化词典训练后变得不稳定。该技术包括对目标进行分类,而不将它们与现有的示例进行比较,而这相当累人。接着,研究人员试图通过让网络处在在噪音信号来解决这个问题,,这

  • 最强 AI 企业!RealAI 荣获机器之心「2020 人工智能金炼奖」

    2020 年春节,一场突如其来的疫情打乱了所有人的节奏,但对于人工智能行业而言,疫情更是一场“危”中有“机”的考验。尽管产业环境和经济形势异常严峻,但真正优秀的人工智能公司必然是“内功深厚”,拥有硬核的技术实力、强大的抗风险能力以及灵活有效的战略调整能力。疫情冲击反而衡量出这些企业的真实力,他们将成为接下来人工智能产业落地中的中坚力量,甚至可以代表人工智能发展的未来。为了寻找这些良好应对特殊时期的最强?

  • 人工智能+大数据,新浪舆情通用更“智能”的数据助力决策

    人工智能技术的应用早已深入人们的生活,语言翻译、智能音箱、导航系统、城市安防系统之中都能有人工智能技术的参与,在推动国家治理、优化企业运营策略的过程中,也能见到人工智能技术的应用。近年来,政企机构越来越重视聆听新媒体平台上的声音,并通过大数据分析和数据简报等方式挖掘信息价值,洞察民意以辅助自身决策。随着数字基础设施建设的逐步加速,互联网信息将成倍增长,并且以更复杂多样的形态和方式出现,人工智能技术

  • 编程猫CEO李天驰谈人工智能如何赋能教育

    【TechWeb】6月29日消息,编程猫创始人兼CEO李天驰受邀参加人民网联合全国高等学校计算机教育研究会举办的“共创智慧教育新生态”在线研讨会,就后疫情时代智慧教育建设分享了自己的观点。在谈及智慧教育如何落地、人工智能如何赋能教育方面,李天驰表示编程猫在普及人工智能教育以及编程教育上,发现在线教育在全国中小学落地,遇到的最大问题是缺少好的老师,为了解决在人工智能教育以及编程教育领域师资不匹配的问题,编程猫以

  • 工程师们为人工智能瓶颈提供了聪明、及时的解决方案

    莱斯大学的研究人员展示了设计创新的以数据为中心的计算硬件的方法,以及将硬件与机器学习算法共同设计的方法,这两种算法可以将能源效率提高两个数量级。机器学习是自动驾驶汽车和许多其他高科技应用背后的人工智能形式,它的进步开创了一个新的计算时代——以数据为中心的时代,并迫使工程师们重新思考75年来几乎没有受到挑战的计算体系结构的各个方面。电气与计算机工程助理教授林英彦(音)说:“问题是,对于目前机

  • AI落地最新前沿,达观数据携多款机器人新品将亮相世界人工智能大会

    备受关注的“ 2020 世界人工智能大会云端峰会”即将拉开帷幕。此次峰会由上海市政府主办。世界人工智能大会自从 2018 年以来成功举办了两届,伴随着上海人工智能产业发展从起步到壮大,已成为行业内具有一定国际影响力的品牌活动。本届大会在上海市经济和信息化委员会及相关委办局、区政府的指导下,国内文本智能处理领军企业达观数据携手浦东青联将举办“智能时代,‘语’你同行”行业论坛。 疫情之下,各行各业对线上自动化与?

  • 中关村数智人工智能产业联盟正式成立

    中关村作为我国高科技企业具体的重要载体,汇集了一大批在人工智能领域有引领地位的企业,在推动人工智能与经济社会各领域深度融合、加快传统行业数字化转型方面显现出良好的技术带动能力。为更好的发挥先进技术企业的带动和辐射作用,培育良好的人工智能产业生态,在中关村科技园区管理委员会的指导支持下,中关村数智人工智能产业联盟正式成立。 2020 年 4 月 9 日,中关村数智人工智能产业联盟(以下简称“联盟”)在北京市首钢?

  • 艾瑞:云测试——应用人工智能帮助企业降本增效

    撰写人: 王巍令、穆春阳关键词:云测试、人工智能导语:测试作为软件开发后到上线的最后一个环节,对于产品体验和质量,起着至关重要的作用。测试的发展先后经历了纯人工测试、工具化测试和云测试的三个阶段,目前,以深度学习为代表的人工智能技术与云测试紧密结合,可大幅提升测试的效率,降低测试的成本。测试行业的发展阶段国内测试企业服务主要经历了三个阶段:人工时代、工具时代、云测试时代。第一个阶段是人工测试时代,基本?

  • 人工智能人才紧缺,玖富数科集团践行国家战略培养AI人才

    如今,人工智能已经成为改善居民生活、促进区域经济发展的有力工具,但人工智能人才紧缺也成为正在面临的问题。而玖富数科集团已与高等院校、企业签约,在人工智能教育、研发等领域深入合作,培养优秀专业人才,助力国家人工智能高质量发展!人工智能人才紧缺,玖富数科集团践行国家战略培养AI人才玖富数科集团作为一家14年的数字金融科技企业,一直以来投入大量资金、人力研究人工智能技术应用,基于玖富超级大脑推出自主研发的、

  • 腾讯申请“人脸活体检测”相关专利 用于人工智能领域

    据天眼查数据显示,近日,腾讯科技(深圳)有限公司新增数条专利信息,其中之一为:一种人脸活体检测的方法、相关装置、设备及存储介质。专利摘要显示,本申请公开了一种人脸活体检测的方法,该方法应用于人工智能领域。本申请由于同时考虑人脸图像的三维几何信息和表面材质信息,从而能够辨识出人脸图像的真实性,有效地抵御不同的人脸活体攻击方式。

  • 百度:未来十年将继续加大在人工智能等新基建领域的投入

    DoNews 6月19日消息(记者 吴丽)6月19日,百度宣布未来十年将继续加大在人工智能、芯片、云计算、数据中心等新基建领域的投入。据悉,目前百度拥有涵盖北京、保定、苏州、南京、广州、阳泉、西安、武汉、香港等10多个地区的数据中心。未来五年,预计培养 AI 人才500万,为中国智能经济和智能社会的发展提供 AI 人才保障。未来十年,预计到2030年,百度智能云服务器台数超过500万台。目前,百度已经培养 AI 人才超过100万。与复旦?

  • 榕树贷款:深耕金融科技 探索人工智能应用新场景

    目前,全球许多国家都在积极推进垃圾分类分拣技术的发展,大力促进垃圾分类过程的机械化、自动化。 2020 年是“十三五”规划的收官之年,也是污染攻坚的关键一年。在日前结束的全国两会上,环境治理议题再次成为热点。随着疫情基本得到控制,经济建设正在回归“快车道”,如何实现绿色恢复也提上了议程。 6 月,一种集大数据分析功能、投口防夹手功能、满载警示预警、温度检测功能、便捷投递灯、定位等多种功能于一体的新型智能垃

  • 榕树贷款:人工智能大显身手 金融服务提质增效

    20 世界 50 年代末,人工智能的概念被首次提出,奠定了社会技术布局的战略架构。然而受限于算法和算力的不成熟,未能实现大规模的应用和推广。随着社会的发展,新一代的大数据、云计算、物联网等一系列突破性的成功因素,真正将人工智能发展成人类科技智慧的金字塔尖,展现出不可估量的巨大潜力。 我国一直高度重视人工智能在各行业的落地应用,先后出台了多项政策鼓励支持人工智能产业的发展。根据国际数据公司IDC的报告,未来 5

  • Adobe人工智能加持 拍照应用Photoshop Camera上架

    DoNews 6月11日消息(记者 刘文轩)Adobe去年发布一款名为“Adobe Photoshop Camera”的拍照应用,号称可以为你上传到Instagram的照片打造出与众不同的创意。现在这款应用已经在Google Play Store和苹果App Store上架了。和其他拍照应用不同的是,Photoshop Camera结合Adobe Sensei人工智能,自动分辨照片中的物体,并提供风格建议。这些滤镜可以应用到人像、食物、风景等画面的拍摄,比如给你的拍摄对象换个背景,或是把阴沉的天?

  • 人工智能上升为国家战略高度 玖富数科集团AI人才教育项目抢占高岭

    在人工智能上升为国家战略高度的大环境之下,如何培养出更高端的技术人才,将是企业、政府乃至国家层面需要考虑的问题,因为只有人才才是推动新技术发展的根本。值得一提的是,在高端技术人才培养这一方面,玖富数科集团一直以来均有独到见解,尤其是玖富数科集团本身就是一个数字科技型的企业,它对于人工智能的理解更透彻,自然,在技术人才的培养这一方面,亦能从更全方位的角度去统筹,并为更多同行带来启发。人工智能教育应从

  • 工信部公示《科技抗疫表现突出的人工智能企业》,普渡科技抗疫表现突出

    6 月 19 日,中国工业和信息化部科技司公布《在科技支撑抗击新冠肺炎疫情中表现突出的人工智能企业》名单(排名不分先后),以示对科技抗疫的人工智能企业的肯定和鼓励。普渡科技因用智能技术在防疫抗疫中发挥了积极作用,有效践行了企业社会责任,取得了良好社会效果,有效践行了企业社会责任,荣登本次名单前列。2020 年 2 月 4 日,工业和信息化部科技司向社会发布了《充分发挥人工智能赋能效用 协力抗击新冠疫情的倡议书》。普渡

  • 地处三市核心区,在稻谷人工智能产业园办公是一种什么样的体验?

    朋友,最近有没有肝“动森”?最近这款日本的休闲创造性小游戏刷爆朋友圈,游戏中的无人小岛,成为了当代年轻人对于理想工作和生活的寄托。游戏中的惬意悠闲,万物即刻拥有的特点,对比上朝九晚五,压抑麻木的工作生活,游戏生活让人羡慕,更让不少上班族心生向往。如果有一个机会,让你能楼上办公,楼下放松,仿佛身处花园森林,这样的办公地是不是也很有吸引力?森林式办公,工作亦是享受如今,刻板的办公场所成为了大众第一印象,

  • 亚太区高性能计算和人工智能竞赛学生参赛队伍创新高

    2020年竞赛吸引了来自多个国家和地区的30支学生队伍,将角逐对最先进的高性能计算和人工智能技术的掌控和优化水平今年的竞赛也包含了“现实世界”的场景,参赛队伍需要完成两项针对COVID-19研究的挑战题目中国,北京 – 2020年 6 月 29 日– 国际高性能计算和人工智能咨询委员会(HPCAIAC)携手新加坡国家超级计算中心(NSCC)近日公布了报名参与由两家联合举办的第三届亚太区高性能计算和人工智能竞赛的参赛队伍,继续在高性能计?

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议