X
广告
首页 > 业界 > 关键词  > 腾讯优图最新资讯  > 正文

腾讯优图荣获CVPR2021 Image Matching Workshop双赛道冠亚军

2021-07-15 18:04 · 稿源: 站长之家用户

近日,腾讯优图实验室在CVPR2021 举办的Image Matching Workshop(IMW2021)比赛中,提出的图像匹配技术 (SS-Fusing)荣获双赛道冠亚军。IMW2021 是Google和University of British Columbia(UBC)联合举办的Workshop比赛,吸引了包括旷视,商汤,EPFL,KORNIA,华中科大和OPPO等公司、学校和机构参加。

作为计算机视觉领域的基础技术之一,Image Matching是指寻找一张图片中拍摄的子区域在另一张图片中的对应位置,广泛应用于包括SFM、SLAM、三维重建、大规模图像检索,缺陷检测与配准等领域。

图1、图像匹配技术示例

本次比赛的评测机制如图 2 所示,参赛者根据自己提出的方法提取每张图的关键点和对应描述子,并提交每两张图之间的匹配结果,赛方会根据提交的结果统计两种评估方案:1.通过对比两张图之间匹配结果对应的相机位姿和真实位姿之间的差异(Stereo)。2.根据多张图之间的关键点匹配结果,统计重建后预测全图的相机位姿和真实位姿之间的差异(Multi-view)。因此对于任意两张图之间,关键点的分布越分散,匹配的点越准,则位姿估计的效果越好。

图2、比赛流程图

此外,本届比赛分为限制性赛道(Restricted category)和非限制性赛道(Unlimited category),其中限制性赛道要求参赛者提交有限的关键点和对应描述子,非限制性赛道可提交不限数量的关键点对和对应描述子。相较于前两届比赛,本届比赛增加了街景和公园等场景,图片之间的角度和尺度变换更大,对算法挑战非常大,因此我们同时针对关键点的提取部分和匹配准确度部分都做了相应的改善,具体思路如下:

我们使用SuperPoint+Autoencoder+SuperGlue作为我们的关键点匹配pipeline。其中SuperPoint用于提取关键点和对应描述子,Autoencoder用于特征压缩,SuperGlue用于关键点匹配,最后通过DEGENSAC进行离群点过滤。同时我们优化了SuperGlue的训练过程和损失函数,提升了模型在比赛数据集下的匹配精度。

图3、SS-Fusing算法流程图

我们针对输入图片进行随机变换增加了提取到的关键点对尺度变换的鲁棒性,同时提出了针对描述子的特征融合模块,以提升描述子的表达能力和尺度鲁棒性。同时我们还对比了我们的特征融合和平均特征融合的效果,其中横坐标为描述子的cos相似度,纵坐标为二者的分布差异,可见我们的方法在高相似度区域下的占比明显高于平均特征,而在低相似度区域下的占比明显低于平均特征,验证了我们方法的有效性。

图4、特征融合模块

图5、加权特征和平均特征相似度分布差异图

我们提出了前背景分割和coarse-to-fine的匹配结构,进一步提升关键点匹配的有效性。其中前背景分割可以有效过滤掉与匹配无关的背景部分。Coarse-to-fine的匹配结构可以提升拍摄尺度差异过大导致的匹配率过低的问题。

图6、前背景分离示意图

图7、coarse-to-fine匹配前后示意图

视觉图像匹配作为基础的计算机视觉能力,在其基础上可拓展众多的下游任务。如在图像检索中,可以通过image matching来检索到和Database中相似的图片,如图 8 所示。在SFM(Structure from motion)中,可以通过关键点匹配来获取摄像头外参并结合内参进行深度估计并重建出拍摄物体(如图 9 所示)。在图像跟踪与配准中,通过前后帧的匹配可以捕捉视频的运动轨迹,并针对目标物体进行视频跟踪与图像配准。

图8、图像检索

图9、三维重建

作为腾讯旗下顶尖的人工智能实验室,优图实验室聚焦计算机视觉,专注人脸识别、图像识别、OCR等领域开展技术研发和行业落地,在推动产业数字化升级过程中,始终坚持基础研究、产业落地两条腿走路的发展战略,与腾讯云与智慧产业深度融合,挖掘客户痛点,切实为行业降本增效。

未来,腾讯优图实验室也将继续深耕CV技术,并将持续探索更多的应用场景和应用空间,让更多的用户享受到科技带来的红利。

  • 相关推荐
  • 大家在看
  • 腾讯优图AI算法助力《我是极客》 共探智能时代网络安全

    近日,由全球三大极客赛事之一——GeekPwn打造的全国首档安全挑战真人秀《我是极客》火爆开播。节目上演“破防”智能保险箱、暴走的机器人、AI鉴定师、眼镜易容术等网络安全挑战项目,各路极客精彩攻防轻松破解,让观众纷纷惊呼“怎么可能!”。节目中,腾讯优图人脸安全技术总负责人丁守鸿担任现场评审,共同参与极客选手挑战细节的技术讨论及打分。作为腾讯旗下顶尖的人工智能实验室,腾讯优图还为第一期“AI鉴定师”提供了领先?

  • CCAI 2021 | 腾讯优图汪铖杰:用AI生成更优更新的内容

    目前,人工智能技术已经在人脸识别、语音处理、视频处理、自然语言处理等领域得到了突飞猛进的进展。未来人工智能技术将在哪些行业和业务场景中最快得到应用,以及将会向着哪些方向重点发展,成为了行业共同关心的问题。10 月 12 日,以“智启非凡”为主题 2021 中国人工智能大会(CCAI2021)在成都正式开幕。作为我国人工智能领域的顶级盛会,本次大会共设置了 8 场主题报告、 1 场院士尖峰对话、 9 大专题论坛、 6 个同期活动面?

  • 腾讯优图9篇论文入选ACM MM 2021 含弱监督像、人脸安全等领域

    10月20日,第29届ACM国际多媒体会议(简称ACM MM)在成都正式举行。本次会议将针对单个媒体和跨界整合多媒体元素的最具创新性和影响力的顶级热点研究成果进行分享交流。此外,在视频编码、视觉识别、大规模图像视频分析、社会媒体研究、多模态人机交互、计算视觉、计算图像等研究方向有多场精彩的学术分享报告,将充分展示全球高校、研究机构及高新企业在多媒体研究方面的最新进展。作为世界多媒体领域最重要的顶级会议和中国计算?

  • 腾讯优图斩获ICCV2021 LVIS Challenge Workshop冠军及最佳创新奖

    近日,在ICCV2021 举办的LVIS Challenge Workshop比赛中,腾讯优图实验室荣获冠军,同时被授予该项目的最佳创新奖。LVIS Challenge2021 是大规模长尾数据的实例分割任务,是本届ICCV的重磅比赛之一,吸引了众多国内外知名企业和高校参加。此次竞赛的核心技术方案也将应用于工业AI质检的场景中,进一步地提高缺陷检测与分割的精准度,用最核心的技术支持产业落地。图1 比赛最终榜单,腾讯优图排名第一LVIS是包含1k+类别的大规模长尾

  • 用AI技术开启穿越时空的视觉盛宴 腾讯优图亮相第八届世界互联网大会

    9 月 26 日,第八届世界互联网大会乌镇峰会(以下简称“大会”)在浙江乌镇正式开幕,大会以“迈向数字文明新时代——携手构建网络空间命运共同体”为主题,邀请各国政府、中外互联网企业、高校智库等代表,聚焦热点议题,展示前沿科技成果,共同探索数字经济下的互联网发展新技术、新模式和新业态。据了解,大会除常规论坛外,还设置了“互联网之光”博览会、“直通乌镇”全球互联网大赛等三大板块。作为腾讯旗下顶级的人工智能实验

  • 胜千言 腾讯位置服务数据可视化JS API重磅升级

    大数据时代,数据纷繁冗杂,数据可视化则可以将有效信息快速的提取和呈现,展现数据的隐藏价值,大大提升业务决策的效率。近日,腾讯位置服务数据可视化JS API全新升级,在视觉效果、数据渲染能力、数据上图方式、应用场景等方面有了新的提升和拓展。开发者通过接入升级后的Web 端API,可以让海量的数据真正“活”起来。效果升级,更炫酷的视觉冲击力最新的数据可视化JS API不仅针对已开放图层进行了全新的视觉升级,扩充了对于动?

  • 腾讯云鼎实验室发布云安全攻防矩阵,绘制九大攻防路径全景

    随着云计算技术和产业的蓬勃发展,企业上云已是数字化转型的必然趋势。但云上千般好,却也给企业带来了全新的安全挑战。云平台不仅要应对传统网络架构中存有的DDoS、入侵、病毒等常态问题,还要高度重视技术架构中虚拟机逃逸、资源滥用、横向穿透等新安全问题。守护云上安全,是数字时代的重中之重。 9 月26日,2021首届-西部云安全峰会在西安成功举办。会上,腾讯安全云鼎实验室首次披露云端攻防最新成果——云安全攻防矩阵。该矩

  • 腾讯公布新福利:晚餐免费

    10月15日消息,腾讯行政宣布:自2021年10月18日起,晚餐免费。原20:00点后夜宵券不再发放,账户中剩余夜宵券可以继续使用。如有额外需求可以使用账户中剩余夜宵券或现金支付。晚餐免费适用地区:深圳、北京、上海、成都、重庆、武汉。此前,腾讯实行早餐免费,晚餐发放夜宵券的制度,如果一天都在公司度过,只需午餐花钱,餐饮上的花费最低还不到20元,一个月也就400元左右。腾讯在餐饮和班车等方面的福利,一度曾被外界认为是加班

  • 腾讯QQ上线关怀模式

    昨日,腾讯QQ宣布上线“关怀模式”,用户需升级至8.8.34版本后才能开启。据介绍,QQ关怀模式全局默认大字体,更适合老人家的浏览、阅读习惯。

  • 云闪付接入腾讯、微信

    近日,银联云闪付开始逐步接入腾讯和微信部分场景。具体为:云闪付App支持Q币、QQ音乐和腾讯视频的充值服务,以及微信读书和腾讯视频微信小程序灰度测试云闪付支付。

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天