首页 > 传媒 > 关键词 > 腾讯优图实验室最新资讯 > 正文

腾讯优图实验室13篇论文入选ICCV2019

2019-10-24 15:52 · 稿源:站长之家用户投稿

两年一度的国际计算机视觉大会 (International Conference on Computer Vision,ICCV) 将于 2019 年 10 月 27 日 - 11 月 2 日在韩国首尔举行,近日论文收录名单揭晓,腾讯优图共有 13 篇论文入选,居业界实验室前列,其中 3 篇被选做口头报告(Oral),该类论文仅占总投稿数的4.3%(200/4323)。

ICCV被誉为计算机视觉领域三大顶级会议之一(另外两个为CVPR、ECCV),录用率非常低,其论文集代表了计算机视觉领域最新的发展方向和水平。本届ICCV共收到 4323 篇论文投稿,其中 1075 篇被录用,录取率25%。

本次入选的论文涉及2D图像多视图生成、人脸照片的图像转换等,提出了诸多亮点。

下面将对腾讯优图入选的两篇论文进行重点解析。

1、基于视角无关特征的多视图对抗生成框架View Independent Generative Adversarial Network for Novel View Synthesis

本论文与香港中文大学合作完成。

2D图像的多视图生成任务,指的是基于单张2D图像,生成其不同视角下的图像信息。此类方法可以在不涉及复杂的三维重建的基础上,实现多个视角下的信息的合成观察。例如下图中给定特定视角的2D图像,可以生成其他各个视角的图像信息:

该论文提出了一种适用于此类任务的对抗生成框架,旨在通过结合图像对应的相机参数信息,实现对于多类物体均适用的多视角转换框架。长远来看,这项技术的应用有望让普通的2D视频也能实现3D观感,就像在电影院观看的3D电影一样。

现有的多视图生成任务中,当前基于生成模型的方法将预先提取输入图像中与视角信息无关的特征,而后将视角信息相关的参数作用于此特征,进而得到生成的结果。该论文中,作者使用此种思路,配合以多种损失函数的设置,利用相机参数加上图像信息来得到与视角无关的特征。相比于现有的方法,该方法适用于连续相机参数下的多视图生成,并不限制于数个固定的视角。

除了合成视图与监督信息之间的损失函数之外,本文提出使用一种基于循环生成的重建损失函数,来提升合成视图的准确性;同时借鉴目前的对抗生成技术,从图像本身的生成分布,与图像的姿态准确性保证两方面出发,提出两个不同作用的对抗学习损失,以提升生成图像的质量和合成视图的姿态准确度。

该框架可以适用于不同类别的物体。

首先是人脸在预先设定的有限数目的视角之间的转换结果。最左边是输入的2D图像,箭头右侧均为生成的,不同视角下的结果。

应对其他一般的物体。通过在Shape-Net这个数据集上的多个类别物体作为数据,得到以下结果:

通过在多个类别的物体上进行多视图生成任务,利用多个定量定性指标来进行评价,证明该方法具有通用性,且在多个类别任务上表现良好。

本文入选ICCV2019 口头报告(Oral),该类论文录取率约4.3%。

论文地址: http://jiaya.me/papers/vigan_iccv19.pdf

2、基于属性自光流域非监督图像转换算法 Attribute-Driven Spontaneous Motion in Unpaired Image Translation

QQ截图20191024162912.jpg

微笑表情转换结果图。从左到右依次为:输入、StarGAN结果、该论文结果

本论文与香港中文大学、哈工大深圳研究院合作完成。

人脸照片随着社交软件的普及被大幅度地应用于各种社交应用中,而人脸照片的自动化编辑一方面作为社交软件的娱乐应用促进了社交用户的交流,另一方面也帮助用户对人脸照片进行快速的自动化编辑。由于深度学习的兴起,基于深度神经网络的图像转换(Image translation)技术常常被应用于图像编辑任务上。

现有的图像变换算法主要基于生成对抗神经网络,这些算法尽管能生成较高分辨率的图像,但由于它们较少考虑图像之间的几何变形关系,转换后的图像往往包含许多瑕疵和失真,尤其是在原图像域和目标图像域几何结构不一致的情况下。

本论文提出了SPM(自光流模块),希望通过学习不同图像域间的光流解决图像的几何变换问题。其框架以传统的生成器-判别器作为基础,其中,生成器用于生成更好的图像,而判别器用于判别生成器生成图像的质量好坏,此外,他们在生成器的基础网络结构上做出扩展以适应图像转换之中的几何变换。扩展后的生成器包含两个主要模块,自光流模块SPM和微调模块R。此外,该论文还引入了从低分辨率图像到高分辨率的生成方案。

整体框架图

本文提出的自光流模块,通过输入原图像和目标属性,自光流域模块旨在预测光流,并利用光流对原图像采用变形操作得到中间结果图像。该论文利用一个编码-解码网络作为该模块的主要结构,其中他们主要考虑了网络结构、域分类器、微调模块、残差结构、注意力掩码几方面的设计。

同时,为了产生更高分辨率的图像,该论文采用了一种新颖的粗到细的神经网络训练策略。

在训练好低分辨的神经网络后会有许多中间结果的低分辨率表示。具体地,低分辨率的自光流域w残差r以及注意力掩码m是已知的。为了得到它们的高分辨率表示,首先对它们进行双线性插值上采样到分辨率更高的w, r以及m。但是通过双线性插值的上采样所得到的结果往往是模糊的,因此对于这三个变量他们引入了三个小的增强神经网络对上采样的结果进行微调。利用微调后的高分辨率中间结果,我们即可对高分辨率的输入图像进行处理和转换,并最后得到相应的高分辨转换结果。

RaFD数据集上的图像转换结果,从左到右依次为:输入、愤怒、惊恐、开心(后三个为算法生成结果)

本论文通过提出自光流模块,将图像域间的几何变换显式地引入到了图像转换框架中。算法主要在CelebA-HQ和RaFD数据集上进行验证,其结果相比于现有算法都有一定的提升。其各部分的实验充分证明了该框架的有效性,并且取得了很好的图像转换效果。这一框架也给解决图像转换中的几何变换问题提供了新的解决思路。论文地址:http://jiaya.me/papers/imgtrans_iccv19.pdf

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 人民阅读携手阅文集团构建“阅读认知实验室”

    6 月 2 日,人民日报数字传播有限公司与阅文集团正式签署战略合作协议。双方将依托阅文集团数字内容与多元渠道优势,联合构建“阅读认知实验室”,推动“人民阅读”平台转型升级,发起重点领域的“网络文学创作计划”,探索新媒介语境下网络文学创作的现实主义传统重建,推动网络文学发展,打造网络文艺精品,助力全民阅读成为社会新风尚。 人民日报数字传播有限公司董事长兼总经理徐涛表示,移动互联带动网络文学的快速发展,为?

  • 郑爽将入职快手 担任“创新实验室明星合伙人”

    DoNews 6月4日消息(记者 吴丽)6月4日,快手官微宣布,演员郑爽即将于近日入职快手,任“创新实验室明星合伙人”,并在6月5日下午开启直播,目前入职后的具体工作职责尚未透露。此前快手曾公开面向社会招聘 “创新实验室明星合伙人”职位,要求包括 “应聘者运营过百万级以上粉丝的短视频账号”、“参与过全网热搜事件,经常上热搜者优先”。

  • 臻驱科技与罗姆成立碳化硅技术联合实验室

    中国新能源汽车电驱动领域高科技公司臻驱科技(上海)有限公司(以下简称“臻驱科技”)与全球知名半导体厂商ROHM Co., Ltd.(以下简称“罗姆”)宣布在中国(上海)自由贸易区试验区临港新片区成立“碳化硅技术联合实验室”,并于 2020 年 6 月 9 日举行了揭牌仪式。与IGBT* 1 等硅(Si)功率元器件相比,碳化硅(SiC)功率元器件具有传导损耗、开关损耗* 2 小、耐温度变化等优势,作为能够显著降低损耗的半导体,在电动汽车车载充电器以及DC

  • 宇宙中最冷的地方在哪?国际空间站的冷原子实验室

    在国际空间站上,物理学家曾在一个独特的实验室里工作,创造了一种玻色–爱因斯坦凝聚(Bose–Einstein condensate)的物质状态。有了这种量子物质,科学家将能够进一步探索量子物理学

  • 高水平打造科技创新策源地,材料科学姑苏实验室正式揭牌

    6 月 30 日,材料科学姑苏实验室(以下简称“姑苏实验室”)举行成立大会。会上,姑苏实验室正式揭牌成立,并被授予“江苏省实验室”。据悉,该实验室以材料科学领域中的国家重大战略需求、江苏经济发展重大需求以及未来科技革命的前沿技术为“三大重点”,瞄准建设国家级实验室目标,高水平打造科技创新策源地。材料科学姑苏实验室规划图姑苏实验室规划总投资 200 亿元,总部位于苏州工业园区,占地 500 亩,以材料科学领域中的国家

  • 想要享受黑科技带来的数字生活?来DIGIX数字生活实验室就对了

    再遇鹏城,探索超感知数字生活,6月18日-6月22日,华为DIGIX数字生活实验室来到了深圳卓悦中心,别具一格的潮酷黑科技给深圳市民带来了智慧生活的体验。DIGIX数字生活实验室内华为终端云服务各大应用的沉浸式体验专区可谓人气爆棚,花币卡、专属明信片、可爱抱枕等专属礼品也让参与体验者满载而归,夏日炎炎,快来有颜值、又潮酷的DIGIX数字生活实验室玩耍吧。DIGIX数字生活实验室现场在华为DIGIX数字生活实验室中,打卡体验之旅必

  • 实验室30年培育800代蚊子:爱喝酒吃肉、化妆的人容易被蚊子咬

    每到夏天,防蚊、驱蚊用品就成为老生常谈的话题,有些人天生对蚊子“免疫”,而有些人则对蚊子避之不及。到底哪些人比较招蚊子蚊子呢?之前,网上也有各种各样的说法,有说因为基因

  • DIGIX数字生活实验室来袭,教你玩转华为会员中心

    近日,DIGIX数字生活实验室快闪店在深圳卓越中心开幕,在为期五天的活动里,华为会员中心专区为用户们展示了华为会员中心APP的系列玩法,为大家带来有趣的感官体验和满满的科技时尚感。本次活动中,华为会员中心活动区通过多感官交互体验,让大家了解了华为会员中心APP的各种功能,包括社区交流、权益领取、资讯浏览、活动参与等等;现场还设计了趣味小游戏,大家纷纷参与互和抽奖,获奖的用户可以在华为生活馆内兑换精美小礼品和花

  • 消费升级成大势所趋,得物App打造“鉴别实验室”助力正品网购

    随着移动互联网的飞速发展,人们对多元化的元素认知度有很大的提升,潮流文化和人文运动也越来越受年轻人的喜爱。尤其是大批90、 00 后成为消费主力军,消费升级成为大势所趋,追求时尚、注重品质成为新的消费趋势。说到注重品质就不得不提到正品观念,对于当代年轻人而言正品认知度有了很大的提升,大多数年轻人都会有意识的去支持正品。而今天小编便带来了一个能够帮助大家辨别正品与假货的宝藏App——得物。得物App是由上海识?

  • 支付宝安全实验室获Kaggle视觉挑战赛冠军,领跑「细粒度图像分类」技术

    近日,计算机视觉A类顶级会议CVPR 2020 开幕在即, 由Kaggle承办的FGVC(Fine-Grained Visual Categorization,细粒度图像分类)全球挑战赛结果揭晓,支付宝天筭安全实验室夺冠,超越全球1316支顶尖计算机视觉团队。Kaggle是全球最大机器学习平台。

  • 宁德时代锂离子电池实验室已破土动工 致力于下一代电池研发

    【TechWeb】6月29日消息,据国外媒体报道,日前,深交所上市公司、锂离子电池制造商宁德时代(CATL)位于福建宁德的锂离子电池实验室——21C实验室正式破土动工。该实验室占地约18公顷(270亩),总投资为33亿元,建设周期为五年(2019年至2023年),预计于2021年年底投入使用,5年内将吸引数千名专家和人才,重点研究下一代电池和新能源转换系统。21C实验室不仅研发先进的金属锂电池、全固态电池和钠离子电池,还致力于其技术的?

  • DIGIX数字生活实验室走进深圳,为你带来意想不到的超感知数字生活

    6月18日-6月22日,以“超感知数字生活”为主题的华为DIGIX数字生活节在深圳卓悦中心开幕。全新升级的DIGIX数字生活实验室以全新的姿态面向大众,时尚且兼具科技感的设计吸引了众多市民前来打卡。华为主题时尚大片拍照场景、华为钱包智慧刷卡体验、华为音乐年代歌单,以及AR星空、HUAWEI HiCar智慧出行场景为到场的参观者提供了丰富的潮酷的应用体验。在DIGIX数字生活实验室不仅拍照好看,应用体验好玩,更有华为P40、Sound X、花币

  • 2020 DIGIX数字实验室,华为钱包带你解读全场景智慧新生活

    原标题:2020 DIGIX数字实验室,华为钱包带你解读全场景智慧新生活6月18日—6月22日,2020年DIGIX数字生活实验室如约在深圳福田卓悦中心与大家见面啦!在这5天的时间里,大家可以尽情体验华为钱包的各项潮酷生活方式,拍照、打卡、领奖、分享一条龙,现在,一起与我感受下本次的超燃科技之旅吧!华为钱包,给生活加点黑科技本次华为钱包展区整体设计新颖、酷潮,科技感十足,在这里,你可以现场体验华为钱包的各种黑科技,可以倾听

  • 腾讯牵手任天堂开发新游戏:《王者荣耀》工作室天美操刀

    腾讯股价近段时间接连创新高,其中一个很重要的原因,就是旗下游戏业务表现足够的给力,当然作为他们最核心的业务,也必须要重视起来。据外媒报道, 最新的宝可梦游戏是一款基于团队的实时策略

  • 腾讯联手任天堂开发宝可梦版LOL,由天美工作室操刀

    6月25日,腾讯与任天堂宣布将联手开发一款以宝可梦为IP的新作《宝可梦大集结》,这款游戏将由腾讯旗下的天美工作室开发。

  • 老干妈回应腾讯起诉:没有与腾讯合作 腾讯可能被骗了

    今天下午,针对“腾讯的起诉”老干妈公司相关负责人回应称,并没有与腾讯有任何的合作,关于此事老干妈公司认为,腾讯公司被骗了!老干妈公司已经向警方报案,稍晚会发布声明。

  • 腾讯牵手任天堂推出策略游戏《宝可梦大集结》 由天美工作室开发

    最新的宝可梦游戏是一款基于团队的实时策略游戏,叫做《宝可梦大集结》,该游戏由腾讯的天美工作室开发。据悉,这款免费游戏将同时在Nintendo Switch和移动设备上推出,并支持多人互动游戏。

  • 老干妈回应被腾讯起诉:腾讯被骗了!

    6 月 29 日,裁判文书网一份裁判文书显示,腾讯请求查封老干妈 1624 万财产,法院裁定同意。 6 月 30 日,腾讯回应称系因老干妈拖欠千万元广告费,腾讯多次催促对方付款却分文未获,遂起诉老干妈。

  • 老干妈回应被腾讯起诉:未与腾讯有过商业合作

    6月30日,“腾讯起诉老干妈”成为了当日互联网上一个热议话题,这两家企业在各自的领域在国内都是数一数二的。对于被腾讯起诉一事,老干妈也在当天晚上发布了声明,表示与腾讯没有商业合作,腾讯是被骗了。

  • 老干妈负责人回应被腾讯起诉:不清楚腾讯是否会撤诉

    今日下午,老干妈相关负责人表示,对于腾讯方面是否会撤诉,暂时还不清楚。对于“之前有没有注意到腾讯的广告推广事宜”一事,该负责人称:“正在核实当中”。今日午间,腾讯起诉老干妈拖欠广告费一事真相终于水落石出,贵阳公安双龙分局发布公告称,经初步查明,系 3 名犯罪嫌疑人伪造老干妈公司印章,冒充该公司市场经营部经理,与腾讯公司签订合作协议。其目的是为了获取腾讯公司在推广活动中配套赠送的网络游戏礼包码,之后通?

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议

热文

  • 3 天
  • 7天