首页 > 传媒 > 关键词  > 腾讯多媒体实验室最新资讯  > 正文

腾讯多媒体实验室重磅开源视频质量评估算法DVQA

2020-03-11 15:47 · 稿源: 厂商

近日,腾讯多媒体实验室设计的基于深度学习的全参考视频质量评估算法DVQA在Github上正式开源,该算法模型的性能目前在公开测试数据集上取得业界领先成绩。

开源地址:https://github.com/Tencent/DVQA

国内镜像地址:

https://git.code.tencent.com/Tencent_Open_Source/DVQA

(登录后才能访问公开项目)

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像

视听时代,音视频应用越来越广泛:直播、短视频、视频节目、音视频通话……近期由于新冠疫情带来的在线协同办公、在线教育类产品的崛起,更带来了线上音视频需求的爆发,用户对音视频质量诉求也愈加强烈。

在整个视频链路中,大部分模块都可以精确度量,如采集、上传、预处理、转码、分发等。然而未知的部分却恰恰是最关键的部分,即用户的视频观看体验到底怎么样。目前行业内的视频质量评估方法分为两大类:客观质量评估与主观质量评估。前者计算视频的质量分数,又根据是否使用高清视频做参考、源视频是专业视频还是用户原创视频等进一步细分;后者主要依赖人眼观看并打分,能够直观反映观众对视频质量的感受。然而,这些方法仍存在耗时费力、成本较高、主观观感存在偏差等难题。

多媒体实验室提出的视频质量评估解决方案,首先结合业务需求,使用“在线主观质量评测平台”,来构建大规模主观质量数据库,同时使用所收集的主观数据来训练基于深度学习的客观质量评估算法,最后把训练好的质量评估算法部署到业务线中,闭环监控可能存在的质量问题。从以上三个角度出发,DVQA能够在兼顾不同业务、场景的前提下,满足效率与精度两大需求。

DVQA包含多个质量评估算法模型,本次开源的是针对PGC视频的算法C3DVQA。本项目使用Python开发,深度学习模块使用PyTorch。代码使用模块化设计,方便集成较新的深度学习技术,灵活的自定义模型,训练和测试新的数据集。

在算法设计上,C3DVQA所使用的网络结构如下图所示。其输入为损伤视频和残差视频。网络包含两层二维卷积来逐帧提取空域特征。级联后使用四层三维卷积层来学习时空联合特征。三维卷积输出描述了视频的时空掩盖效应,再使用它来模拟人眼对视频残差的感知情况:掩盖效应弱的地方,残差更容易被感知;掩盖效应强的地方,复杂的背景更能掩盖画面失真。

网络最后是池化层和全连接层。池化层的输入为残差帧经掩盖效应处理后的结果,它代表了人眼可感知残差。全连接层学习整体感知质量和目标质量分数区间的非线性回归关系。

在评测结果上,腾讯多媒体实验室在LIVE和CSIQ两个视频质量数据集上对所提出算法的性能进行验证。并使用标准的PLCC和SROCC作为质量准则来比较不同算法的性能。将所提出的C3DVQA与常用的全参考质量评估算法进行对比,包括PSNR,MOVIE,ST-MAD,VMAF和DeepVQA,结果如下表所示。

(LIVE和CSIQ两个数据库上不同全参考算法性能比较)

目前该评估算法已在腾讯内外部多款产品中进行使用验证,如腾讯会议就借助实验室上百个符合ITU/3GPP/AVS等国外内标准的指标进行评判,闭环监控全网的用户体验质量,从用户真实体验出发,不断优化产品性能。

作为最早布局音视频领域的公司之一,从最早的QQ平台,腾讯就试图解决在当年网络条件下若干的音视频通信问题。伴随着5G、云计算、大数据、人工智能技术的发展,腾讯多媒体实验室基于多年的技术沉淀和行业经验,逐步打磨出一条完善且高质量的音视频技术链条。

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • 这波钉钉搞音频实验室,真没蹭热点

    前脚Facebook改名Meta,后脚微软也在会议软件上搞出XR新花样。这波元宇宙热度烧得太旺,个中真假虚实着实让人难以辨别。

  • 深海技术公司的突破性技术VIPER将机器人实验室带入海底

    Impossible Sensing是一家位于圣路易斯的深海技术初创公司,专门从事光学传感器和边缘分析,它跟美国内政部海洋能源管理局(BOEM)合作开创了一种发现海底清洁技术资源的新方法。Impossible Sensing的突破性技术VIPER首次将机器人实验室带到海底以识别和量化矿藏和生物群落的位置、大小和性质。VIPER利用Impossible Sensing最初为NASA开发的空间探索技术、全面绘制和发现美国专属经济区的海洋矿物,另外还负责提供关于敏感生境和物种

  • IDEA大会宣布与万科、美团、九坤分别成立AI联合实验室

    11月22日,在由深圳市福田区人民政府、深圳市福田区科技创新局和粤港澳大湾区数字经济研究院(福田)(International Digital Economy Academy简称IDEA)联合举办的首届IDEA大会上,IDEA创院理事长沈向洋宣布,IDEA与万科、美团、九坤投资正式签署战略合作协议,将分别成立“万科-IDEA”、“美团-IDEA”、“九坤-IDEA”三家联合实验室,在工业软件、智慧城市、智慧物流、智慧金融等多个领域探索合作与发展新模式,成为构建IDEA数字

  • 广州实验室暨国家呼吸医学中心临床基地落成,钟南山:希望能够发挥引领作用

    广州国家呼吸医学中心,是广东省市重点社会民生工程。中心包括医院、培训基地、转化医学、基础实验等一体的功能。广州国家呼吸医学中心,安装百欧森光等离子技术设备。为医院提供预防交叉感染,杀灭细菌病毒,甲醛甲苯,净化空气服务,给医护人员和患者打造一个健康安全的室内环境。百欧森为钟南山院士的广州国家呼吸医学中心提供空气净化消毒服务,加强预防院内细菌交叉感染,钟南山院士与多名教授来院参观,百欧森陪同讲解。百欧?

  • 昆仑实验室再获肯定 微软MVR、天府杯、谷歌VRP三大荣誉尽收囊中

    近日,谷歌公司高调公布了 2021 年度 Chrome 漏洞奖励计划(VRP)全球精英研究员榜单,国内新兴安全公司赛博昆仑旗下的昆仑实验室研究员再次荣登Top20。这已不是他们第一次打入如此高规格的榜单,作为一家成立不到一年的网络安全创业公司,赛博昆仑旗下的昆仑实验室今年陆续集齐了包括微软 2021 年度最具价值精英研究员(MVR)榜单(全球排位第一、人数最多)、天府杯 2021 国际安全挑战赛总冠军等顶级荣誉,可谓交出了一份比肩头?

  • 聚焦底层技术 保障最佳信号体验 vivo与信通院合建模拟网实验室落成

    2021 年 12 月 5 日,东莞 —— 12 月 5 日,vivo通信中心模拟网实验室在vivo全球总部落成。vivo通信中心模拟网实验室计划分三期建设。仅本次投入使用的、由中国信息通信研究院承建的一期实验室就拥有近百套世界领先的设备,投资达数千万元人民币。12 月 5 日,vivo通信中心模拟网实验室在vivo全球总部落成实验智能化 复杂场景室内模拟vivo通信中心模拟网实验室把运营商大规模使用的同型号基站及核心网完整地部署在实验室内,并能?

  • 私人订制护肤疗养开拓者---瑞士尚夕实验室(LAB Primeetec Sénsee )

    瑞士尚夕实验室(LAB Primeetec Sénsee)1989 年诞生于日内瓦湖畔,创立者是瑞士皮肤研究专家普利梅女士。普利梅女士和她的团队自实验室建立以来,一直致力于高端私人皮肤管理订制,不仅是私人订制护肤疗养的开拓者,更是全球领先的护肤研发团队。根据会员所在城市环境、气候变化、皮肤特性等因素为会员专业私人订制研发四季不同的护肤品,一年订制费用约在4w瑞士法郎(约等于28w人民币),是许多明星、名人、贵妇的皮肤疗养中心。201

  • 协助微软修复“零点击”等高危漏洞,昆仑实验室收获11月“三连致谢”

    近日,微信官方发布了 11 月份最新一期的安全致谢名单,并公开了一批最新发现的系统漏洞名单。其中,北京赛博昆仑科技有限公司旗下的昆仑实验室成为榜单上最亮眼的存在,以帮助微软发现三处漏洞的突出表现,收获官方三次致谢。在最新的致谢名单可以看到,昆仑实验室的安全研究员发现了存在于Windows系统和内核的共三个漏洞,分别是Microsoft 虚拟机总线 (VMBus) 远程代码执行漏洞(CVE-2021-26443)、Windows 内核特权提升漏洞(CV

  • 望周知,堂堂办公良心解惑:企业怎样才能找到靠谱的办公

    无论是创业公司还是欲拓展业务的公司,办公租赁行业知名品牌堂堂办公发现,在很长的一段时间内相当多的企业都面临着租办公室却不知怎么找的难题。说到租办公室,可是直接跟公司形象和员工的归属感等因素直接关联在一起的,所以要租到性价比高的办公室,就必须明确企业的办公选址要求,下面就由堂堂办公平台的资深经纪人进行最直接而有效的阐述,通过三个方面,告诉大家如何才能租到靠谱的办公室。租办公室先首要考虑的是确定办公选

  • 央视网评浪潮办公挂加班真好横幅:不能美化加班

    ​央视网评浪潮办公室挂加班真好横幅。近日,浪潮集团在公司悬挂加班横幅,引发网友批评。15日,济南相关部门 表示将调查此事。对此,央视网发表评论:

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天