首页 > 传媒 > 关键词 > 视觉信息最新资讯 > 正文

视觉信息助力广告点击率预估--京东广告团队技术论文入围KDD2020

2020-06-23 17:20 · 稿源:站长之家用户投稿

在以AI技术为支持的推荐、搜索、广告等业务中,点击率预估(CTR)一直是技术攻坚的核心,同时也是AI技术在业务落地中最难实现的技术方向之一。近日,来自京东广告团队的一篇论文《Category-Specific CNN for Visual-aware CTR Prediction at JD.com》,即《在京东,视觉助力点击率预估——基于给定类目信息的卷积神经网络》被KDD2020 成功收录。论文构建了一种基于特定类目的卷积神经网络(Category-Specific CNN, CSCNN),该算法有效利用了电商领域中丰富的商品类目信息,创新性的将商品类目信息与商品主图共同作为主图特征提取模块的输入,提取基于特定先验类目信息的商品主图特征,大大提高了CTR预估的准确度。

尽管京东的广告业务在业界起步的比较晚,但增速却让人刮目相看。这其中很大一部分原因得益于AI技术在广告业务的大范围应用。据京东商业提升事业部广告质量部负责人包勇军介绍,京东机器学习在 2015 年正式应用在在线广告中,初版排序模型使用浅层FM base的超稀疏模型,浅层模型时代的模型工作,主要着眼在业务理解和特征提取。这为以后模型发展技术路线奠定了一定的迭代基础,相对于当时许多tree base model架构的业务线,京东更容易向神经网络迁移。在 2016 年,商业提升事业部部署LR-DNN模型架构,基于Theano框架离线训练,自研在线severing服务。模型上线早于google的wide & deep模型发布,虽然较w&d模型设计和使用略显粗糙,但是也是将深度学习算法引入广告生产环境中的一次大版本升级,对于部门有举足轻重的意义。 2017 年,商业提升事业部的算法部门将整个模型基础架构进行升级,9N机器学习平台进行内功修炼,内核迁移到工业界主流的TensorFlow平台,完善作为工业生产平台的所有配套模块。

2018 年后,模型算法进入业务建模时代,算法升级从特征加工、模型调参,迈向业务理解建模的新阶段。模型迭代升级进入快车道,业务指标显著增长。模型建模出现新的细分方向,同时,模型建模迭代也推动自研机器学习平台9N的升级。京东将精力更多的放在用户刻画、预估商品刻画、用户和商品关系的建模上,同时致力于发现模型应用中的使用短板,解决模型规模、学习效率、参数更新实时性等关键技术问题:

image.png

l Multi task DCN主要解决了两个问题。首先将LR-DNN升级到DCN,将算法工程师从特征选择交叉的繁重工作中解放。其次采用多路输出的模型解决position bias。

l User Memory Net静态用户刻画。长期行为更致力于刻画用户内在属性和偏好,并可以排除由外界因素导致的用户短期兴趣波动。由于使用了很长的用户行为,在线serving架构设计存在难点。

l Category Specific CNN (CSCNN)是一种使用CNN抽取图像信息,并和CTR任务端到端联合优化的建模方法。一方面,需要考量高效离线训练及线上serving的方法。另一方面,和传统只以图片为输入的CNN不同,CSCNN将电商场景下丰富、具有强视觉先验的“商品类目标注”作为CNN输入的一部分,降低CNN训练的难度。CSCNN可以从商品图中提取到标题/类目等特征刻画不出的细节,并对冷启商品有更好的泛化。

l KFAtt(KF Attention model for user behavior sequence)是用户实时行为序列建模的方法。整体我们采用Transformer的框架建模时序及用户行为和当前target的关联,是综合考量线上serving和后期迭代的扩展性的技术选型,实验验证效果优于流行的DIN和DIEN。我们进一步指出传统attention存在的问题,并直接对attention机制做出了改进。在用户兴趣多变、异质行为差异巨大电商场景下,KFAtt比传统attention表现出更优的效果。

l Realtime Graph Convolutional Network (RGCN)是用户-商品实时关系图建模的方法。对于长尾和冷起阶段的商品,借助关系图可以得到更丰富的表示;对于活动、促销,实时关系图也可以更快捕获商品的时变特性。

目前机器学习已经在京东广告的各个环节得到深入应用。后续我们会逐一为大家进行详细介绍。此次入围KDD的论文,就是机器学习在广告CTR模型生产环境中结合图像信息的CTR建模的应用,接下来让我们一起详细了解一下这篇论文

一、任务背景:

广告点击率(Click Through Rate, CTR)预测问题,即已知用户、广告、环境等信息,预测该用户点击该广告的概率,是广告领域的最根本问题之一。精准的广告点击率预测是整个广告系统的基石,直接关系到京东数亿活跃用户的使用体验与百万广告主的切身商业利益。

在电商领域中,商品普遍以商品主图搭配文字描述的格式展示给消费者。相比于文字描述,商品主图往往包含更多的细节的、直观的商品信息,具有更强的视觉冲击力,直接影响用户偏好。因此,提取商品主图中的丰富的视觉特征,能有效挖掘商品特性,从而为CTR预测提供强有力的支持。

image.png

图一、电商广告示意图,红框内为商品主图。因其占面积大、表达的信息多和更吸引的用户注意力,故其特征的有效提取,对于后续CTR预测,有着至关重要的作用。

我们的目标是:在百亿规模的训练样本上,构建一种CNN有效抽取视觉特征,并和CTR任务联合训练。与此同时,满足线上系统的平响要求。

二、现有方法的问题:

引入视觉信息的CTR预估中,业界通常会采用一种后融合的方式。做法是:采用现成、经典的CNN结构(Inception[1], ResNet[2], SeNet[3] 等)抽取图片特征,并与其他非视觉特征(如广告商品的类目信息、用户的个人特征、广告位置时间等)以后融合的方式,一起作为CTR预估模型的输入。

image.png

图二、现有的商品主图特征提取技术的缺点,红色虚线框为现有技术缺失部分。主图特征提取模块缺失了商品类目作为CNN的输入,无法精确地提取基于特定商品类目的主图特征,限制了CTR预估的准确性。

然而这种业界通用的做法,一直面临两个重要的问题:

1. 工业级广告CTR预估系统需要满足线下快速训练和线上低延迟服务两项重要技术要求。 然而,由于CNN的运算速度远远慢于CTR预估系统的其他模块,它可能成为整个CTR预估系统的运算瓶颈。所以,在实际CTR预估系统中应用CNN来提取图像特征通常是极为困难的。

2. 现有的商品主图特征提取模块,绝大多数搬迁自经典的、原本用于图像分类的CNN结构。在原本的图像分类任务中,图像的类别是未知的、待预测的,因此这些CNN结构并没有把图像的类别作为输入。而在CTR预估中,电商商品的类别是被清晰的标注的,并且极有可能含有能辅助图像特征提取的,丰富的视觉先验。在业界常用的,视觉特征与非视觉特征“后融合”的结构中,CNN没有有效利用“商品类别”这一重要信息,从而可能提取到与当前类目无关的特征,浪费了CNN有限的表达能力。相反,如果我们能设计一种新的CNN结构,有效利用商品类别信息,那么提取到的基于特定类目的视觉特征,会极大地降低CNN的训练难度。

三、我们的算法原理:

旨在有效利用电商领域中丰富的商品类目信息,我们将商品类目信息与商品主图共同作为主图特征提取模块的输入,从而提取基于特定先验类目信息的商品主图特征。算法命名为基于特定类目的卷积神经网络(Category-Specific CNN, CSCNN)。相比于现有的主图特征提取技术,我们提取的主图特征能更为精确地描述商品特征,触达用户偏好,提升CTR预估的性能。

设计灵感最初来源于SeNet 和CBAM[4],即用轻量级的自身注意力网络刻画卷积特征之间的内在联系。亮点在于我们创新性地在每一个卷积层,都加入了类目信息,从而使基于特定类目的注意力网络能学到既重要又专注于特定类目的视觉特征。

image.png

图三、商品主图特征提取的流程图,为了清晰表述,本图只突出单一层的变换模块。实际中,该Attention结构可加在多层卷积网络中。

商品主图I通过多层卷积神经网络处理。在每一层CNN后,本层CNN的输出一个特征图张量(Tensor)F,该特征图张量经过通道注意力模块Mc 的变换后,调整为新的特征图张量F’,进一步经过空间注意力模块Ms变换后,调整为特征图张量F’’,这个特征图张量F’’作为本层输出的特征图,被输入到下一层CNN中处理。如图三。

我们来具体介绍下,通道注意力和空间注意力模块内部结构。

CNN的输出特征图张量F,先经过通道注意力模块Mc调整为F’,具体流程如图四(上): 首先,特征图F经过空间维度的压缩,得到了C维的Maxpooling和Avgpooling向量。两者分别拼接上C’维的类目特征向量Akc通过全连接层变换为两个C维向量后相加,得到一个C维的通道注意力向量,与原特征图广播后元素相乘后,得到调整后的特征图张量F’。总结为:

image.png

其中类目特征向量Akc,因类目k而异,和其他网络参数一起随机初始化后通过反向传播算法迭代优化。

image.png

图四、通道注意力模块和空间注意力模块

通道注意力调整后的特征图张量F’,经过空间注意力模块Ms调整为F’’,具体流程如图四(下):首先,特征图F’经过通道维度的压缩,得到了WH维的Maxpooling和Avgpooling矩阵。两者拼接上WH维的类目特征向量Aks,共同通过7* 7 的卷积核变换后,得到一个HW维的空间注意力矩阵,与原特征图广播元素相乘后,得到调整后的特征图张量F’’。总结为:

image.png

其中类目特征向量Aks,因类目k而异,和其他网络参数一起随机初始化后通过反向传播算法迭代优化。

经通道和空间维度两次调整后的特征图张量F’’,已经包含了类目k的先验信息,被作为了下一个卷几层的输入。以上两个调整模块,可以用在各个卷积层中,使得整个网络能提取基于特定类目先验信息的商品主图特征。

四、我们的架构流程:

image.png

图五、在线模型系统架构

1. 离线训练:CSCNN模块与整个CTR预估预估模型(Deep & Cross Net[5])共同训练。为了解决CNN的计算瓶颈问题,加速训练,我们采用了一种特殊的采样方式[6]。集中 25 个,有相同图像的广告训练样本在同一个训练Batch中。如此CNN图像特征提取可以只计算一次,然后广播到这个训练Batch中的 25 个样本。现在我们可以在一天内完成 150 亿广告展示样本、1. 77 亿图片的联合训练。

2. 离线词表生成:商品图像和商品类目信息被共同输入到训练好的CSCNN模块中,计算商品图像的视觉特征向量。在线预估系统加载这些视觉特征,作为CNN模块的替代,输入到CTR预估系统中。结合一定的频次控制策略,20GB的词表可以覆盖第二天的90%的线上流量。

3. 在线服务:在线服务系统接收到一条CTR预估请求后,会根据广告ID,从图像特征词表中直接查询视觉特征向量,与非视觉特征一起输入到CTR预估模型中计算。在3 Million/second的流量峰值中,我们的CPU在线服务系统能把TP99 延迟严格控制在20ms以内。

五、实验效果:

我们的实验设计主要关注于两方面:

1. 测试CSCNN模块的,有效提取特定类目信息的视觉特征的能力。为了排除庞大的CTR系统中的多方干扰,我们选择了Amazon Benchmark 数据集,和简单的线性CTR预估模型Bayesian Personalized Ranking (BPR).

2. 我们进一步测试CSCNN对于整个CTR系统的提升。包括在京东广告系统收集的 150 亿训练样本的工业数据集,和真实流量的Online A/B Test.

具体结果如图:

image.png

图六、Amazon Benckmark数据集上的AUC比较。我们的算法显著优于State-of-the-Art。得益于图像信息和商品类目信息的加入和有效早融合

image.png

图七、Amazon Benckmark数据集上的AUC比较。不同的Attention机制中,都可以通过加入CSCNN模块获得一致提升。证明了CSCNN的优秀适应性。

image.png

图八、Amazon Benckmark数据集上的AUC比较。网络Backbone结构,都可以通过加入CSCNN模块获得一致提升。证明了CSCNN的优秀适应性

image.png

图九、工业数据集 & Online A/B Test。CSCNN贡献了线下AUC和线上CTR的显著提升。

五、结论:

我们提出了一种基于给定类目信息的卷积神经网络。通过CNN图像特征提取与商品类目信息的早融合网络结构,有效的强调了既重要、又直接跟特定类目相关的视觉特征。从而显著提升CTR预估的准确性。匹配高效的基础架构,CSCNN现在被应用到京东搜索广告系统的主流量中,服务于数亿活跃用户。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 京东要抢视觉中国的生意

    版权素材行业迎来了新的搅局者。投资界(ID:pedaily2012)获悉,日前京东版权素材中心悄悄上线,这是全国电商行业中首个大型免费版权素材平台,面向全量商家和京东平台达人用户免费开放。京东方面表示,该平台可为数十万商家、达人一年节省至少上亿元的版权素材成本,并规避商家的侵权风险。除此之外,京东还在平台服务上搭建了版权保护确权和维权体系,针对商家日常运营建立了版权知识内容体系。视觉中国的蛋糕又要被分掉一块?京东

  • 信息流广告实战案例:接到新客户如何进入状态实现全盘掌控?

    互联网的发展日新月异,为整个营销领域带来了革命性的冲击。备受关注的数字营销,发展速度之快也令人瞠目。无论是从业多年的大咖,还是刚刚入行的新手,稍不留神就会跟不上行业发展的脚步。近年来,各大企业开始加大在数字营销方面的投入,都想借助于新的形式和载体,进一步提升企业的知名度和产品销售。但作为企业而言,有投入就必须要求有回报。 营销千万条,效果第一条,投放不谨慎,复盘两行泪。作为数字营销从业人员,营销路

  • 将今日头条、腾讯广告、微信广告等媒体“一网”打尽的广告投放系统

    媒体的多样化,消费者行为日益碎片化,对企业来说意味着需要撬动更多类型的媒体资源才能实现更好的数字营销。但反过来,随着接入的渠道和账户的增多,一般广告投放方式的弊端也会被凸显放大。我们不得不停下来反思,是否有更好的解决方案。测评后发现数透数据就是一个由大数据和技术驱动的解决方案。如果你是每天需要操作大量不同渠道投放账户的广告优化师,或是拥有大量客户的代理商、又或是正在寻求渠道策略优化的企业决策者,那

  • 钉钉经营范围新增广告发布 广告设计

    天眼查数据显示,近日,钉钉(中国)信息技术有限公司的经营范围发生变更,新增广告发布;广告设计、代理;广告制作等。钉钉(中国)信息技术有限公司成立于2018年3月,注册资本20亿元,法定代表人为钉钉CEO陈航,由DingTalk(Singapore)Private Limited全资持股。

  • 今日头条打造开屏+信息流创新产品矩阵,广告还能这样玩?

    面对当下互联网碎片化的浏览场景与爆炸膨胀的信息洪流,广告主如何通过耳目一新的曝光,让品牌触达和吸引用户群体变得简单且高效?怎样在有限的传播时间和空间里,颠覆广告视觉体验,让广告被记住并产生回响?今日头条打造头条炫屏、炫屏图片与头条信息流-精品栏三大创新广告产品,充分调动并最大化利用APP开屏和信息流两大入口资源,以极具视觉冲击力的创意素材动态组合形式,延伸了创意表达的时间与空间,让广告惊艳于“视”的同

  • 白酒广告缺乏个性?那你一定没看过90年代央视这组广告

    近些年,随着"国潮复兴”越来越受到广泛热议和年轻人的拥趸,很多国货品牌也越来越被大家提及。 今年 5 月,京东携手上海美术电影制片厂为“618”制作了一部微电影。京东小白狗穿越时空,把孙悟空、哪吒、葫芦娃、黑猫警长等动漫角色聚集到一起,上演了一波“国潮”回忆杀。 说到“国潮”广告,就不得不提上世纪 90 年代。当时,随着国内彩色电视机的普及,电视广告一度繁荣。很多经典的电视广告,成为了一代人共同的记忆。 在大

  • 著名开源项目Apache Doris开发者徐冬奇加入微博广告技术团队

    著名开源项目、在线分析型分布式数据库Apache Doris的主要开发者,原百度凤巢广告系统高级架构师、阿里巴巴数据智能商业化技术负责人徐冬奇,已于近日入职微博广告技术团队,担任微博广告技术总架构师。据百度内部人士爆料,Doris最初是只为解决凤巢广告报表需求而设计的专用系统。2012年徐冬奇在前百度首席架构师James Peng(前Google 核心工程师,现自动驾驶独角兽小马智行CEO)指导下,作为Dor

  • 谷歌前广告主管正在打造一款无广告的搜索引擎

    据外媒报道,Sridhar Ramaswamy于 2013 年成为谷歌广告和商务高级副总裁。他领导着这个价值 1150 亿美元的分支机构达五年之久,该机构负责通过AdSense在搜索、YouTube和网站上出现的广告。但因受够了谷歌的暴利和客户与广告商之间的利益冲突,Ramaswamy选择离开谷歌并创建了自己的搜索引擎。

  • 微博上的广告这么多,一定很赚钱吧?

    时间拨回一周前,因为“干扰网上传播秩序,以及传播违法违规信息等问题”,微博被约谈并要求整改。

  • 抖音趣味广告大盘点,笑死我了

    在抖音论沙雕广告的最强者,应该非郝凡莫属,之前与凡士林的合作就令人印(一)象(言)深(难)刻(尽)。两人并肩行走,这时郝凡被风迷眼,请伙伴帮忙吹吹,伙伴很给力,一鼓嘴,吹出一口满含干皮的“沙尘暴”,郝凡一个躲避不及,踉跄倒下,躺在一辆小推车上,不受控制的向老奶奶撞去,说时迟,那时快,老奶奶起身跑的裤子掉了都顾不上提……郝凡刚松一口气,前方又出现一拎水桶的美女!怎么办,车速是 70 迈,心情是非常坏,命运安排这?

  • 西瓜视频开通广告收益教程

    ​西瓜视频的广告一般会展示在视频开始或结尾的地方,开通西瓜视频广告收益后,作者将享有一定的广告收益。而平台为了平衡用户体验,并不是每次刷新都会有广告出现。那么怎么开通西瓜视频广告收益呢?以下是关于西瓜视频开通广告收益的详细介绍。

  • Facebook遭广告商集体抵制,阿迪达斯、福特等暂停投放广告

    作为全球社交巨头的Facebook在近日遇到了一个大麻烦,不少大企业都纷纷宣布将暂停在Facebook上进行投放广告,这其中就包括可口可乐、阿迪达斯、福特、惠普、联合利华,可口可乐,Verizon和李维斯等,这些大公司都将暂停在Facebook上投放广告一个月时间。

  • 透视互联网的灵魂,详解广告新变局

    “羊毛出在狗身上,猪来买单。”这句经典名言归纳了互联网思维的要义——提供免费产品/内容供用户使用,圈住人之后再将人群的注意力卖给广告主变现。底层逻辑是流量的低买高卖,而广告主就是那只富有的猪。

  • 抖音广告哪家强?沙雕郝凡站了起来

    在抖音论沙雕广告的最强者,应该非郝凡莫属,之前与凡士林的合作就令人印(一)象(言)深(难)刻(尽)。两人并肩行走,这时郝凡被风迷眼,请伙伴帮忙吹吹,伙伴很给力,一鼓嘴,吹出一口满含干皮的“沙尘暴”,郝凡一个躲避不及,踉跄倒下,躺在一辆小推车上,不受控制的向老奶奶撞去,说时迟,那时快,老奶奶起身跑的裤子掉了都顾不上提……郝凡刚松一口气,前方又出现一拎水桶的美女!怎么办,车速是 70 迈,心情是非常坏,命运安排这?

  • 微软在自家应用中启用大量广告:推荐用户使用Edge

    对于微软来说,他们正在自家的应用软件中卖力的推荐Edge浏览器,确切说是基于Chromium的Edge浏览器。现在你通过Chrome浏览器访问微软OneDrive的时候,会弹出“这是由微软推荐的全新浏览器

  • 未来广告怎么玩?一文窥见先机

    “玩广告”是种什么体验?“吃”过Papa Johns 虚拟心形披萨的玩家或许很有发言权。通过和snapchat深度合作,情人节当天,玩家进入活动页面,就可以用心形披萨滤镜拍照,还可以用滤镜中植入的 AR 订购系统下单。最终数据显示,超过25%的体验玩家都购买了滤镜同款披萨。将视线拉回国内,玩广告也成为潮流。游戏里,越来越多玩家通过玩广告“回血”,并顺手下载刚体验完的新游戏;地铁里,时常会有很多人陆续走到一个神秘位置,按下按

  • AppsFlyer 携手 Facebook Audience Network 推出业内首个广告系列层级应用内广告衡量方案

    助力游戏应用开发者进一步走向成功2020 年 6 月 3 日 北京 今天,全球归因领导者 AppsFlyer 宣布与 Facebook Audience Network 携手推出业内首个广告系列层级应用内广告变现收入花费回报衡量解决方案(campaign-level IAA ROAS measurement solution),这一方案特别为游戏开发者量身打造。通过将 Facebook Audience Network 群组用户产生的收入与获客渠道绑定,广告主能够精确优化获客策略,提升 ROAS (广告花费回报率)和 LTV(

  • 盘点这些年的魔性电梯广告 背后的投放逻辑

    想象这样一个场景:炎热的夏天,前脚迈入人和人的空间不足五厘米的狭小电梯里,后脚电梯门一关上,电梯广告的屏幕就开始不断嚎叫:“当贝!当贝!当贝投影!找工作!去罗马拍!去巴黎拍!和老板谈!整整整!”。而此刻的你,或许满身大汗,心情复杂。为什么选楼宇电梯广告?楼宇电梯广告本质上是一种新型广告媒体,以商务电梯、楼宇电梯为主,表现形式主要为在电梯内安装成相框的形式,还有一种是在电梯门上直接安装广告,可静可动。CTR媒介智

  • 短视频广告,赢在内容,还是形式?

    “唯一一个看了还想看的广告”、“从来没发现原来自己那么爱看广告”、“不够看”......以上这些都是抖音短视频广告创作者郝凡评论区的留言。他是一个靠拍广告走红的短视频创作者。从开始进入抖音到现在,所发布的作品已经达到了 118 个,几乎都是广告作品。

  • 虎牙直播被点名 官方回应:广告已下线

    对于6月8日今日虎牙直播等直播平台被央视官方点名一事,虎牙直播回应称报道中提及的未成年人消费投诉,平台已核实情况并完成退款。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议

热文

  • 3 天
  • 7天