首页 > 传媒 > 关键词  > 融云最新资讯  > 正文

融云在WICC2021分论坛分享视频编码优化技术

2021-08-12 13:53 · 稿源: 站长之家用户

7 月 24 日,以“新视界·连未来”为主题的 2021 全球互联网通信云大会(以下简称WICC2021)在北京成功落下帷幕。来自主办方全球互联网通信云领导厂商融云的视频算法专家黄震坤在“RTC新技术与应用”技术分论坛中,分享了《基于人工智能的视频编码优化》的演讲。

融云在WICC2021 分论坛分享视频编码优化技术

图1 WICC 现场融云视频算法专家黄震坤发表演讲

根据美国思科公司的相关研究报告,到 2022 年,全球移动数据流量将达到每年 930 艾字节,相当于通过全球网络每 5 分钟传输一遍有史以来所有电影的流量,视频流量占移动数据流量的比例将飙升至79%。巨大的传输压力下,视频编码压缩技术就显得尤其重要。因此,本届 WICC黄震坤聚焦于视频压缩的前沿技术,针对不同场景需求,为开发者阐述了视频编码方向的最新研究成果、融云的探索实践,以及该领域未来的发展前景。

融云在监控场景的视频压缩技术及解决方案

WICC2021 上,黄震坤以交通监控视频场景为例,阐述了随着智慧交通的快速发展,交通监控视频的数据量呈现爆炸式增长,给现有的传输和存储系统带来了巨大的压力,因此,提高监控场景视频压缩的压缩效率显得至关重要。

黄震坤认为,要对交通监控视频进行高效压缩,就必须根据该场景特点,将背景区域和运动区域细致区分。典型的背景区域包括建筑、树木等,在画面中占比较大,且相对固化、变化不大;运动区域包括车辆、行人等,只占整个视频区域的一小部分。典型的监控视频如图 2 所示,运动的车辆即为前景区域。整体而言,视频的相邻帧之间的变化细微,应成为监控视频压缩关注的重点。

融云在WICC2021 分论坛分享视频编码优化技术

图2 典型的监控场景

针对这些特点,业界早期的做法是在重建帧中选择出长期参考帧,并与己有短期参考帧组合,一起供当前待编码帧做帧间预测的参考。但是,选取的长期参考帧可能包含有前景物体,导致背景帧“不干净”。

为了解决这个难点,融云采用 LaBGen-P 的方法提取背景帧,这是由于 LaBGen-P 采用了像素级中值滤波的机制,基于运动检测的选择机制,选择运动最小的像素作为背景像素。通过帧间差的运算,可提取到纯背景帧的视频效果。

并且,用 LaBGen-P 的方法提取背景帧,将获取的背景帧加入到长期参考帧列表,不但可以避免网损和解码错误会导致解码器出现错误,导致误差扩散到后续的P帧,而且利用反馈机制与长期参考帧相结合,还有助于修复丢失的视频数据。

实验表明,和原始没有加入背景帧的 OpenH264 编码器相比,可将标准测试集中的测试视频

CiscoVT2people_320x192_12fps.yuv,从原始的56KB 减少到54KB。

感兴趣区域的视频压缩技术研究模型及实践探索

不同的场景人们的关注重点会有所不同。仍以智慧交通为例,交警对于违章车辆的关注点是车牌号,车牌号是否清晰,将直接影响执法证据的收集是否有效。因此,在带宽有限的情况下,确保兴趣关注区域的质量是视频压缩技术的关键。

传统编码方法致力于对图像进行去相关处理,这种方法虽然可以达到去除信息冗余度的效果,但是忽略了视觉冗余。因此,在最新研究中,典型做法是,通过对视频进行目标检测来获取感兴趣区域,再对感兴趣区域分配更多的码率,从而提高该区域的编码质量。图 3 即为典型的采用目标检测技术检测到的感兴趣区域,并进行码率分配的效果,感兴趣区域的编码质量得到保证。

融云在WICC2021 分论坛分享视频编码优化技术

图3 典型的基于目标检测码率分配效果

如何向感兴趣区域分配更多的码率,黄震坤分别向开发者介绍了学术界代表武汉大学的理论研究和产业界代表融云的探索实践。

武汉大学在 2021 年提出了基于博弈论的码率分配方案模型,具体内容包括:

  • 感兴趣区域编码质量为领导者,非感兴趣区域的编码质量为跟随者;

  • 在设定的目标码率下,领导者决定感兴趣区域分配的码率,而跟随者决定非感兴趣区域的分配的码率;

  • 对于感兴趣区域来说,它的效用不仅取决于自身,而且影响到整个图像的编码质量;

  • 非感兴趣区域只能利用余下的码率达到最优的效用。

而融云的感兴趣区域的视频编码方案是,将运动区域检测和基于博弈论码率分配方案相结合,整合为基于场景的感兴趣区域检测和码率分配方案。这一方案的特点主要体现在训练不同的 yolo 模型,采用同一个预训练模型 yolo,训练不同的场景。

融云在WICC2021 分论坛分享视频编码优化技术

图4 融云感兴趣区域视频编码方案

具体地说,针对人的视频采用训练好的基于人的目标检测模型,针对车的视频采用训练好的基于车的目标检测模型。其中运动检测的方法选用Vibe,为每个像素点建立一个样本背景模型(背景模型中包含N 个样本值),计算待分类像素与背景模型的相似度,如果相似,则分类为背景。

融云在WICC2021 分论坛分享视频编码优化技术

图5 目标和运动检测结合的感兴趣区域提取效果

通过实验可以看出,提取了感兴趣区域之后,采用基于博弈论的方法分配感兴趣区域和非感兴趣区域的码率,最终在有限带宽的情况下,使得感兴趣区域的编码质量获得提高, 整体的编码质量也损失不大。具体效果见图 6 所示,人脸部分的量化系数比背景区域的量化系数要小,在带宽受限的情况下,能够保留人脸部分的细节。

融云在WICC2021 分论坛分享视频编码优化技术

图6 基于感兴趣区域的码率分配效果

视频压缩技术的最新研究和应用前景

目前在视频压缩的研究方面,主要是基于人工智能的深度学习技术和端到端的视频压缩框架。

深度学习技术替换混合编码框架模块,可用于码率分配、块划分以及帧内预测和帧间预测。以帧间预测为例,实验结果表明,与 HEVC 相比,基于深度学习所提出的方法在low delay P配置下,能达到平均1.7%(最高为8.6%)的码率减少。端到端的视频压缩框架最新研究成果是对现有深度学习视频压缩,只能利用少数的参考帧进行压缩的问题, 研究人员提出了重复自编码器和重复概率估计模型。

黄震坤介绍,这些技术目前都尚处于非常前沿的研究阶段,但拥有着非常广阔的应用前景:首先,采用深度学习网络替换视频压缩的混合编码框架,可以提高编码效率,在 WebRTC 中具有重要的应用价值;其次,深度强化学习网络对码率进行分配,将改善在使用 WebRTC 视频传输中的卡顿现象;第三,基于深度学习的带宽估计模型也将比传统的带宽估计方法更有优势。

结语

在实时音视频领域,视频压缩是非常重要的技术。随着5G基础设施的完善,新的视频应用场景不断涌现,视频压缩技术也在迭代。为了确保视频高质量和高传输效率,视频压缩技术要考虑存储、编解码、算力和带宽等因素在内的总成本,要在画质、码率和性能之间做平衡。随着5G 基础设施的完善,新的视频应用场景不断涌现,视频压缩技术也会不断迭代创新。而融云将深度参与其中,引领发展!

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • WICC 2021广州话题剧透|Beeto:中东爆款社交平台是怎样炼成的

    提起中东,我们总会想到一个词 —— 富饶而神秘。石油、土豪、跑车、头巾……财富与阶层的碰撞,传统与新潮的融合,中东带着一种近乎矛盾的魅力,走进全球的视野。就是在这样一片土地上,诞生了来自中国的社交品牌 Beeto,去年上线仅3 个月就在沙特 iOS 应用商店 Top Charts 榜单上超过老牌社交巨头 Facebook,位列第4 名,甚至一度冲到榜首。随着中国移动互联网产业的发展与成熟,开始有越来越多像 Beeto 一样的中国品牌,在中东?

  • 有信独家总冠名!2021华南CIO大会震撼来袭

    一场重大的变革正在进行中……"数字化""数字中国"被列为"十四五"规划的核心之一,数字经济正席卷各行各业,新一轮商业争夺战随之打响。面向新时代,无形的变革重塑着商业大环境。疫情防控的常态化,催化了大小企业对数字化未来的期待之心,同时也为企业带来几分困惑:如何进行企业数字化建设?如何在现有基础上再度深挖数字化引擎的变革能量?业界大咖思维碰撞,共话趋势与合作2021 年10 月30-31 日,由有信云独家总冠名的第五届 S

  • CCAI 2021 | 腾讯优图汪铖杰:用AI生成更优更新的内容

    目前,人工智能技术已经在人脸识别、语音处理、视频处理、自然语言处理等领域得到了突飞猛进的进展。未来人工智能技术将在哪些行业和业务场景中最快得到应用,以及将会向着哪些方向重点发展,成为了行业共同关心的问题。10 月 12 日,以“智启非凡”为主题 2021 中国人工智能大会(CCAI2021)在成都正式开幕。作为我国人工智能领域的顶级盛会,本次大会共设置了 8 场主题报告、 1 场院士尖峰对话、 9 大专题论坛、 6 个同期活动面?

  • 鸿蒙繁荣在前方 2021华为HDC高光时刻回眸

    2021华为开发者大会落幕,再忆HDC,你的脑海中会闪过哪几帧画面?在振奋人心的主题演讲现场,我们了解到:鸿蒙生态已初具规模、Harmony OS 3开发者版本重磅更新、HMS core打破虚拟与现实的边界、首位AI智能手语小姐姐、隐私安全首创“维修模式”保护用户隐私;在开发者们的主场,全球coder神仙打架,同场竞技现场不乏热爱代码的小朋友,孩子们的这份热爱令人动容;城堡中的美食节、音乐节、AR寻宝更是为大家带来独特的嘉年华体验…

  • 智慧金融新力量 从科技荣登2021“IDC中国FinTech 50”榜单

    近日,由国际数据公司IDC(International Data Corporation)举办了“2021 IDC中国数字金融论坛”,本次论坛聚焦于大数据、人工智能、云计算、区块链、隐私计算等领域的各类创新性技术,且论坛发布了2021“IDC中国FinTech50”榜单。此榜单旨在评选出具有对相关场景进行技术赋能、痛点解决及差异化服务能力的金融科技服务商,由此全面洞察中国金融科技生态全局,衡量金融机构的数字化能力及业务增长能力。云从科技成功入选“IDC中国

  • 2021直播影响力榜单揭晓 共同见证2021企业直播营销标杆

    10 月 22 日,由微赞主办的 2021 第二届中国企业直播创新峰会暨 2021 直播影响力榜单颁奖盛典在广州海航威斯汀酒店成功举办。微赞创始人兼CEO周鹏鹏、艾瑞咨询华南负责人伍毅然、圣象集团市场部总经理王晓宇、湖南经视内容中心运营部副总监梅维维、茉莉数科直播策略高级总监莫君彦、腾讯云视频业务产品总监黄斌、猎聘大数据研究院副院长安志敏、健阵医药副总裁杨丽娟等行业大咖出席峰会,为数百位来自全国各地的嘉宾、媒体奉上了一

  • 华为荣获HPC China 2021 HPC融合架构创新奖

    10月21日至23日,以“智算赋能 · 共赢未来”为主题的2021CCF全国高性能计算学术年会(简称CCF HPC China2021)在珠海·横琴召开。华为凭借在计算、存储、网络等领域的架构创新,斩获CCF HPC China2021HPC融合架构创新奖。本次大会由中国计算机学会主办,是全球范围内、高性能计算领域最具影响力的三大盛会之一。大会今年邀请了中国科学院、中国工程院、英国皇家工程学院、英国皇家学会的7大院士,300+行业大咖、研究学者、企业精?

  • NLPCC 2021丨场景驱动的创新,思必驰助力企业提质增效

    “NLPCC于 2012 年创建,每年举办一次,从 2014 年起成为自然语言处理及中文计算领域的国际学术会议。NLPCC2021 重点关注人工智能和大数据领域的自然语言分析和理解任务,继承往年NLPCC 会议的优势活动形式,本次会议组织了主题演讲、论文报告、专题报告、研习会、专题小组、技术评测、创新展示等多种学术活动。”金秋十月,硕果累累。 10 月 15 日- 17 日,由中国计算机学会主办、自然语言处理专业委员会承办的第十届CCF自然语言

  • 融慧金科蝉联2021 IDC中国FinTech50强榜单

    近日,全球知名研究机构IDC正式对外发布2021 IDC中国FinTech 50强榜单。融慧金科凭借在科技赋能、创新变革和金融服务三个维度上的均衡表现,连续两年入选该榜单。一同上榜的还有工银科技、建信金科、平安科技、蚂蚁集团等知名金融科技机构。“IDC中国FinTech 50”榜单于2020年首次推出,主要从科技赋能、创新变革、金融服务三大维度进行评选,旨在全面深入了解中国金融科技生态全局。据IDC中国介绍,今年的榜单评选更多从技术输出?

  • 华为在HDC2021发布全新HMS Core 6 宣布跨OS能力开放

    【2021年10月22日·东莞】华为开发者大会 2021(Together)于今天正式开幕,华为在主题演讲中正式发布全新的HMS Core6,向全球开发者开放7大领域的69个Kit和21,738个API,包括13个跨操作系统能力,开发者基于不同的操作系统开发应用时,都可以集成华为创新的移动服务能力,保证应用体验的一致性。华为消费者业务云服务总裁、华为云CEO张平安表示:“截止目前集成HMS Core开放能力的全球应用已经超过17.3万个,相比去年同期增长了81

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天