首页 > 传媒 > 关键词 > 腾讯多媒体实验室最新资讯 > 正文

腾讯多媒体实验室重磅开源视频质量评估算法DVQA

2020-03-11 15:47 · 稿源:站长之家用户投稿

近日,腾讯多媒体实验室设计的基于深度学习的全参考视频质量评估算法DVQA在Github上正式开源,该算法模型的性能目前在公开测试数据集上取得业界领先成绩。

开源地址:https://github.com/Tencent/DVQA

国内镜像地址:

https://git.code.tencent.com/Tencent_Open_Source/DVQA

(登录后才能访问公开项目)

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像

视听时代,音视频应用越来越广泛:直播、短视频、视频节目、音视频通话……近期由于新冠疫情带来的在线协同办公、在线教育类产品的崛起,更带来了线上音视频需求的爆发,用户对音视频质量诉求也愈加强烈。

在整个视频链路中,大部分模块都可以精确度量,如采集、上传、预处理、转码、分发等。然而未知的部分却恰恰是最关键的部分,即用户的视频观看体验到底怎么样。目前行业内的视频质量评估方法分为两大类:客观质量评估与主观质量评估。前者计算视频的质量分数,又根据是否使用高清视频做参考、源视频是专业视频还是用户原创视频等进一步细分;后者主要依赖人眼观看并打分,能够直观反映观众对视频质量的感受。然而,这些方法仍存在耗时费力、成本较高、主观观感存在偏差等难题。

多媒体实验室提出的视频质量评估解决方案,首先结合业务需求,使用“在线主观质量评测平台”,来构建大规模主观质量数据库,同时使用所收集的主观数据来训练基于深度学习的客观质量评估算法,最后把训练好的质量评估算法部署到业务线中,闭环监控可能存在的质量问题。从以上三个角度出发,DVQA能够在兼顾不同业务、场景的前提下,满足效率与精度两大需求。

DVQA包含多个质量评估算法模型,本次开源的是针对PGC视频的算法C3DVQA。本项目使用Python开发,深度学习模块使用PyTorch。代码使用模块化设计,方便集成较新的深度学习技术,灵活的自定义模型,训练和测试新的数据集。

在算法设计上,C3DVQA所使用的网络结构如下图所示。其输入为损伤视频和残差视频。网络包含两层二维卷积来逐帧提取空域特征。级联后使用四层三维卷积层来学习时空联合特征。三维卷积输出描述了视频的时空掩盖效应,再使用它来模拟人眼对视频残差的感知情况:掩盖效应弱的地方,残差更容易被感知;掩盖效应强的地方,复杂的背景更能掩盖画面失真。

网络最后是池化层和全连接层。池化层的输入为残差帧经掩盖效应处理后的结果,它代表了人眼可感知残差。全连接层学习整体感知质量和目标质量分数区间的非线性回归关系。

在评测结果上,腾讯多媒体实验室在LIVE和CSIQ两个视频质量数据集上对所提出算法的性能进行验证。并使用标准的PLCC和SROCC作为质量准则来比较不同算法的性能。将所提出的C3DVQA与常用的全参考质量评估算法进行对比,包括PSNR,MOVIE,ST-MAD,VMAF和DeepVQA,结果如下表所示。

(LIVE和CSIQ两个数据库上不同全参考算法性能比较)

目前该评估算法已在腾讯内外部多款产品中进行使用验证,如腾讯会议就借助实验室上百个符合ITU/3GPP/AVS等国外内标准的指标进行评判,闭环监控全网的用户体验质量,从用户真实体验出发,不断优化产品性能。

作为最早布局音视频领域的公司之一,从最早的QQ平台,腾讯就试图解决在当年网络条件下若干的音视频通信问题。伴随着5G、云计算、大数据、人工智能技术的发展,腾讯多媒体实验室基于多年的技术沉淀和行业经验,逐步打磨出一条完善且高质量的音视频技术链条。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 腾讯携手虎牙成立安全联合实验室

    DoNews10月10日消息(记者 程梦玲)10月10日,虎牙公司与腾讯云、腾讯安全共同宣布成立安全联合实验室。双方将融合腾讯在云服务器底层算力、内容风险识别、反欺诈和威胁情报等方面的技术能力优势与虎牙公司在内容风控、安全攻防和直播业务场景的实战积累,围绕AI安全应用、黑产打击、安全攻防、数据标注、人工审核等多个领域展开技术交流与业务合作,共同建设AI智能审核平台及安全攻防机制,并以AI安全能力的应用扩容,在虎牙直播?

  • 官方称华为起火建筑与实验室无关,系在建工地

    9月25日下午,位于广东东莞松山湖的华为研发实验室被曝着火,现场浓烟滚滚,之后松山湖高新技术产业开发区管理委员会发布消息称,此为位于东莞市松山湖高新区阿里山路的华为技术有限公司一在建工地,与实验室无关。

  • 英伟达宣布与GSK AI实验室达成合作,研发药物和疫苗

    10月6日消息,在GTC 2020 秋季站上,NVIDIA宣布与全球医疗健康公司葛兰素史克(GSK)及其AI 团队达成合作,后者正在将计算技术应用于药物和疫苗研发。GSK最近在伦敦建立了一个新的AI中心。它将利用GSK重要的基因和基因组数据,改进转化药物和疫苗的设计和开发过程。GSK AI中心一旦全面运作,将汇聚该公司在英国的AI团队,包括GSK的AI研究员、一项新的专业培训项目,以及来自NVIDIA的科学家。据了解,NVIDIA将贡献其在G

  • 华为回应松山湖实验室起火:已得到控制

    25日下午,东莞多位网友爆料称,华为松山湖团泊洼实验室某大楼起火,从视频资料、照片来看,现场浓烟滚滚。据新浪科技报道,华为相关人士称目前火势已得到控制。该人士确认了东莞松山湖园区有

  • OPPO与美的达成战略合作 将联合成立跨界实验室

    今日,OPPO 与美的达成战略合作,OPPO将联合美的成立跨界联合实验室,基于 ColorOS 与美的产品的深度打通。

  • 巨人网络与华为建立生态联合创新实验室

    10月15日消息,近日,巨人网络与华为正式签署生态及技术合作协议,双方将就新技术和生态展开深度交流与合作,共同建立生态联合创新实验室。根据合作,巨人网络与华为将在鸿蒙生态及分布式、HMS生态(华为终端云服务,Huawei Mobile Services)等方面展开深入交流与合作,基于HMS生态与华为海外应用市场优势,华为将与巨人网络携手海外市场,助力中国游戏出海。此外,双方还将在AI、图形、芯片及解决方案、游戏引擎、VR

  • 周大福Y时代携懒人听书联合打造线下体验店 神秘实验室奇袭街头

    近日,由周大福Y时代携懒人听书联合打造的“Y-LAB不正实验室”线下体验店”首站在合肥正式启幕,通过新奇好玩的互动游戏及主播体验,传递年轻化的态度主张,关注自身的体验感和实际需求。体验店后续还将陆续登陆天津等 5 座城市。Y-LAB开启探寻实验室之旅 解锁年轻人最最想要的体验店,具备了话题度和传播性的高颜值,长久以来受到众多大牌青睐。创意十足的线下空间展示,随之成为品牌方与用户沟通的有效途径之一。周大福Y时代携懒

  • 原滴滴出行人工智能实验室负责人叶杰平加入贝壳找房

    DoNews10月12日消息(记者 翟继茹)12日,原滴滴出行人工智能实验室负责人叶杰平,正式加入贝壳找房,任贝壳技术副总裁、首席科学家,并将全面负责人工智能技术中心的相关工作,向贝壳找房CTO闫觅汇报。贝壳找房介绍,未来,叶杰平将带领团队进一步探索AI技术对“住”这一领域的改造可能,加速居住服务产业的数字化转型和智能化升级。资料显示,叶杰平是美国密歇根大学终身教授,是机器学习领域国际领军人物,主要从事机器学习、数

  • 联通在线与科大讯飞签署战略合作协议 共同成立5G AI应用联合创新实验室

    10月12日上午,联通在线信息科技有限公司(以下简称“联通在线”)与科大讯飞股份有限公司(以下简称“科大讯飞”)战略合作协议签署暨5G AI应用联合创新实验室揭牌仪式在北京顺利举行。联通在线董事长、总经理马彦,副总经理张亚秋,副总经理秦吉波,科大讯飞联合创始人兼高级副总裁江涛,高级副总裁刘松林,运营商事业群副总裁周舟等出席本次仪式。仪式现场,马彦表达了对本次战略合作的期待和信心,他表示,5G技术使万物连接更加紧密,AI使行?

  • 原滴滴出行人工智能实验室负责人叶杰平加入贝壳找房 任技术副总裁

    10月12日消息,原滴滴出行人工智能实验室负责人叶杰平,正式加入贝壳找房,任贝壳技术副总裁、首席科学家,并将全面负责人工智能技术中心的相关工作,向贝壳找房CTO闫觅汇报。据了解,未来,叶杰平将带领团队进一步探索AI技术对“住”这一领域的改造可能,加速居住服务产业的数字化转型和智能化升级。相关资料显示,叶杰平,美国明尼苏达大学博士毕业,为美国密歇根大学终身教授,密歇根大学大数据研究中心管理委员会?

  • 原滴滴出行人工智能实验室负责人叶杰平加入贝壳找房 任贝壳技术副总裁

    原滴滴出行人工智能实验室负责人叶杰平,正式加入贝壳找房,任贝壳技术副总裁、首席科学家,并将全面负责人工智能技术中心的相关工作,向贝壳找房CTO闫觅汇报。贝壳找房表示,未来,叶杰平将带领团队进一步探索AI技术对“住”这一领域的改造可能,加速居住服务产业的数字化转型和智能化升级。

  • 想在办公室喝咖啡?办公室咖啡机选购要点

    如今,城市里的白领最离不开什么?可能大家都没有注意到这个答案,但是当你坐在工位上困意来袭的时候,连续反复却喝不到咖啡,可能点了一杯咖啡,等外卖送到的时候困意都已经过去了。不管是时间问题还是成本问题,长期点外卖或者去便利店买都不划算,办公室咖啡机恰恰解决了这一问题。很多企业都陆陆续续给员工们投放了办公室咖啡机,但是咖啡机选哪种呢?办公室里面还是推荐使用全自动咖啡机,因为半自动咖啡机操作需要技巧性,就是

  • 犯罪大师诡异的地下室凶手是谁 诡异的地下室凶手答案解析

    2020年9月22日,在今天犯罪大师更新了最新的突发案件——《诡异的地下室》,需要从四个嫌疑人中推理出最后的凶手是谁,下面就来为大家分享一下这次《诡异的地下室》答案。

  • 犯罪大师诡异的地下室凶手是谁 诡异的地下室凶手正确答案解析

    2020 年 9 月 22 日,在今天犯罪大师更新了最新的突发案件——《诡异的地下室》,需要从四个嫌疑人中推理出最后的凶手是谁,下面就来为大家分享一下这次《诡异的地下室》答案。

  • 看不见的战争:腾讯爱奇艺网飞谁将成为东南亚流媒体之王

    ​在Tik Tok的产品出海计划被国际政治蒙尘的同时,选择东南亚出海的流媒体日子也并不好过。一众国际流媒体巨头下场与当地传统影视公司肉搏,网飞和迪士尼都早已推出本土化战略。一时间,人口超 6 亿的东南亚成为了流媒体大战的最前线。

  • 办公室咖啡机只能做咖啡?OUT,还有这些饮品!

    办公室咖啡机一场秋雨一场凉,时间已步入9月中旬,随着温度逐渐下降,人们对于热饮的渴望也逐步增加。每天清晨,捧着一杯热乎乎的咖啡来到自己工位上。小喝一口,浓郁的咖啡香混着阵阵暖流,既温暖了身体又打起了精神,元气满满的开启新的一天。全自动办公室咖啡机不少公司都选择购买一台全自动咖啡机放置在公司作为办公室咖啡机。原因很简单,拥有一台全自动办公室咖啡机不光可以为员工来带便利,更可以极大的增加员工的归属感。?

  • 中兴:5G基站等主控芯片已经实现7nm商用、5nm在实验中

    在移动通讯及网络设备行业中,大家都知道华为是可以自研7nm、5nm芯片的厂商,殊不知另一家公司中兴也可以。今天中兴通讯副总表示5G基站等主控芯片上已经实现自研7nm芯片商用。在今日召开的第三

  • 为什么办公室咖啡机的需求越来越强烈?一篇全解

    在过去的十多年时间里,由于年轻人生活方式的转变,办公室咖啡逐渐进入了越来越多的企业。与真正的咖啡爱好者不同的是,办公室咖啡机的使用者们在对咖啡品质要求逐渐提高的基础上,更关心的是物美价廉以及方便快捷的获取方式。 九十年代初期,开放的中国迎来了大量的合资独资企业,在带来商业发展的同时,也带来了办公室咖啡文化。在初期,除了少部分大型外企选择办公室咖啡机现磨咖啡外,速溶咖啡占据了相当大的份额。2000 年前后

  • Sailfish OS 3.4发布 实验性支持Rust与64位ARM平台

    芬兰厂商Jolla曾经看上去很有前途的移动Linux软件平台SailfishOS已经很久没有消息了,但今天他们发布了一个重大更新,即"Pallas-Yllästunturi",或者更容易地被称为SailfishOS3.4。SailfishOS3.4有很多新特性,比如初步支持Rust,但也有一些更重要的事情,比如终于开始探索对64位ARM(Arch64)的支持。

  • 谷歌为记者推出名为记者工作室的一套科技工具

    谷歌正在将A.I.和机器学习技术投入到记者手中。该公司今天上午宣布了一套新工具"记者工作室"(JournalistStudio),让记者更轻松地完成工作。在发布时,该套件包括一系列现有的工具以及两个新产品,旨在帮助记者在大型文档中进行搜索并将数据可视化。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签