AV1视频

Aomedia Video1编解码器或 AV1已进入消费者手中。2020年初， Netflix表示已开始向部分 Android 观众播放 AV1，因此成为头条新闻。后来，谷歌将 AV1编解码器带入了其 Duo 视频聊天应用程序，联发科在其天玑10005G SoC上启用了 AV1YouTube 视频流。

有什么大惊小怪的?什么是 AV1编解码器?它为什么如此重要?以下是对 AV1及其在过去五年中对视频流的意义的简要介绍。

AV1是免版税和开源的

发明技术、设计组件和进行研究都是昂贵的。工程师、材料和建筑都需要花钱。对于“传统”公司而言，投资回报来自销售。如果你设计了一个新的小工具，它的销量达到了数百万，那么你就可以拿回最初花掉的钱。物理产品（如智能手机）是如此，但软件开发也是如此。

一家游戏公司花钱开发一款游戏，一路上付钱给工程师和美工，然后把游戏卖掉。它甚至可能不存在于 DVD/ROM 盒式磁带/其他任何东西上。这可能是数字下载。然而，销售为它的发展买单。

如果你设计一种新的算法或技术来做某事，比如压缩视频，会发生什么?你不能以数字下载的形式提供算法，它不会被消费者购买，而是被希望将算法包含在智能手机、平板电脑、笔记本电脑、电视等中的产品制造商购买。

当 Netflix 表示已开始向部分 Android 观众播放 AV1时，它上了头条。

如果算法的发明者能够将该技术出售给第三方，那么商业选择之一就是对每台附带该算法的设备收取少量费用，即特许权使用费。这一切似乎都是公平公正的。但是，该系统很容易被滥用。从不友好的费用重新谈判，到专利巨魔，再到数百万美元的诉讼，特许权使用费业务的历史悠久，充满了意想不到的胜利和失败，无论是“坏人”还是“好人”。

一旦一项技术变得普及，就会发生一件奇怪的事情:没有它就无法制造产品，但除非协商费用，否则它们无法使用它来制造。甚至在产品通过最初的构想之前，它就已经背负了特许权使用费的前景。这就像试图向产品制造商收取使用电力的小工具的费用，而不是用电量，而只是它使用电力的事实。

对此的反应是寻找和开发免版税且免于专利束缚的技术。这是 AV1编解码器的目标。

当前许多领先且无处不在的视频流技术都不是免版税的。MPEG-2视频（用于 DVD、卫星电视、数字广播电视等）、H.264/AVC(用于蓝光光盘和许多互联网流媒体服务)和 H.265/HEVC(推荐用于8K 电视)都充满了版税索赔和专利。有时会免除费用，有时则不会。例如，松下拥有超过1，000项与 H.264相关的专利，三星拥有超过4，000项与 H.265相关的专利!

AV1编解码器设计为免版税。它有很多大牌支持它，这意味着针对谷歌、Adobe、微软、Facebook、Netflix、亚马逊和思科的专利池和财务实力的法律挑战将是徒劳的。然而，这并没有阻止一些专利巨魔，比如 Sisvel，他们的链条嘎嘎作响。

AV1编解码器比 H.265好30%

除了免版税和开源友好之外，AV1还需要实际提供优于已经建立的技术的优势。Aomedia（AV1编解码器的守护者）声称它提供的压缩比 H.265好30%。这意味着它使用更少的数据，同时为4K 超高清视频提供相同的质量。

任何视频编解码器都有两个重要指标。比特率（即大小）和质量。比特率越高，编码文件越大。编码文件越大，需要流式传输的数据量就越大。随着比特率的变化，质量也会发生变化。简单来说，如果数据较少，那么对原始源材料的保真度和准确性就会降低。数据越多，代表原始数据的机会就越大。

像 AV1（和 H.264/H.265）这样的视频编解码器使用有损压缩。这意味着编码版本与原始版本不同(逐个像素)。诀窍是对视频进行编码，以使人眼无法察觉损失。有很多技术可以做到这一点，这是一个复杂的主题。三种主要技术是使用增量帧变化、量化和运动矢量。

AV1设计为免版税。

第一个是压缩方面的简单胜利，而不是每秒发送30次完整的视频帧（对于30fps 视频），为什么不只是将更改从一帧发送到下一帧。如果场景是两个人扔球，那么变化的将是球和人。场景的其余部分将保持相对静止。视频编码器只需要担心差异，一个非常小的数据集。每当场景发生变化或强制定期发生变化时，都需要包含一个全帧(关键帧)，然后跟踪与最后一个全帧的差异。

当您在智能手机上拍照时，它可能会以 JPEG 格式（.jpg 文件）保存。JPEG 是一种有损图像压缩格式。它通过使用一种称为量化的技术来工作。基本思想是这样的，照片的给定片段(8×8像素)可以由相互叠加的固定阴影图案序列(每个颜色通道一个)表示。这些模式是使用离散余弦变换 (DCT) 生成的。使用这些模式中的64个，可以通过决定每个模式需要多少才能获得原始块的近似值来表示8×8块。事实证明，可能只需要20% 的模式就可以令人信服地模仿原始块。这意味着使用有损压缩的图像可能只需要12个数字，而不是存储64个数字(每个像素一个)。64下降到12，

阴影图案的数量、生成它们所需的变换、赋予每个图案的权重、完成的舍入量都是可变的，并且会改变图像的质量和大小。JPEG 有一套规则，H.264有一套，AV1有一套，以此类推。但基本思想是一样的。结果是视频中的每一帧实际上都是原始帧的有损表示。压缩后比原版小。

第三，有运动跟踪。如果我们回到两个人扔球的场景，那么球会穿过场景。对于它的某些行程，它看起来完全一样，因此与其再次发送相同的数据和关于球的数据，不如只注意带球的方块移动了一点。运动矢量可能很复杂，在编码过程中查找这些矢量和绘制轨迹可能很耗时，但在解码过程中则不然。

一切都是关于比特的

视频编码器的最高战斗是保持低比特率和高质量。随着视频编码多年来的进步，每一代的目标都是降低比特率并保持相同的质量水平。同时，消费者的显示分辨率也有所提高。DVD （NTSC） 是480p，蓝光是1080p，今天我们有4K 视频流媒体服务，我们正逐渐放缓至8K。高屏幕分辨率还意味着要表示的像素更多，这意味着每帧需要更多的数据。

“比特率”是视频编解码器每秒使用的1和0的数量。作为起点，根据经验，比特率越高质量越好。您“需要”什么比特率才能获得高质量取决于编解码器。但是，如果您使用低比特率，图像质量可能会迅速瓦解。当文件被存储（在 DVD 光盘、蓝光光盘或硬盘上）时，比特率决定了文件的大小。为简单起见，我们将忽略视频流中的任何音轨和任何嵌入信息。如果 DVD 大约为4.7GB，而您想要存储两小时(120分钟或7200秒)的电影，那么可能的最大比特率将是每秒5200千比特或5.2Mbps。

相比之下，直接从我的 Android 智能手机（H.264格式）中提取的4K 视频剪辑使用42Mbps，大约高出8倍，但同时以每帧大约25倍像素的分辨率录制。只看这些非常粗略的数字，我们就可以看到 H.264提供的压缩比 MPEG-2视频至少好3倍。以 H.265或 AV1编码的相同文件将使用大约20Mbps，这意味着 H.265和 AV1编解码器提供的压缩率是 H.264的两倍。

视频编码器的最高战斗是保持低比特率和高质量。

这些是关于可用压缩比的非常粗略的估计，因为我给出的数字意味着一个恒定的比特率。但是，一些编解码器允许以由质量设置控制的可变比特率对视频进行编码。这意味着比特率会随时变化，当场景复杂时使用预定义的最大比特率，而当场景不那么混乱时使用较低的比特率。正是这种质量设置决定了整体比特率。

有多种方法可以衡量质量。您可以查看峰值信噪比以及其他统计数据。另外，您可以查看感知质量。如果20个人从不同的编码器中截取相同的视频片段，哪些将在质量上排名更高。

这就是30% 更好的压缩声明的来源。根据不同位的研究，以 AV1编码的视频流可以使用较低的比特率（降低30%），同时达到相同的质量水平。从个人主观的角度来看，这很难验证，同样也很难争论。

我很难宣布 H.265和 AV1之间的赢家。

谷歌在其 Duo 应用程序中使用 AVI 的声明之一是，它将“提高视频通话质量和可靠性，即使在非常低的带宽连接上也是如此”。回到我们的蒙太奇，这次每个编码器都被强制为10Mbps。这对 H.264来说是完全不公平的，因为它没有声称以与 H.265/Av1相同的比特率提供相同的质量，但它会帮助我们看到。另外，原版不变。

AV1编解码器还没有为大众准备好（还）

免版税，优惠30%。我在哪里注册?但是有一个问题，实际上是一个巨大的问题。编码 AV1文件很慢。我智能手机上的原始4K 剪辑长达15秒。在我的 PC 上仅使用软件将其编码为 H.264大约需要1分钟，因此比剪辑长度长四倍。如果我使用 NVIDIA 显卡中可用的硬件加速，则需要20秒。只是比原始剪辑长一点。

对于 H.265，事情要慢一些。仅软件编码大约需要5分钟，比原来的要长很多。幸运的是，通过硬件编码到 H.265也只需要20秒。所以 H.264和 H.265的硬件启用编码在我的设置中是相似的。

在所有视频极客开始尖叫之前，是的，我知道有十亿种不同的设置可以改变编码时间。我尽我最大的努力确保我在进行类似的编码。

我的硬件不支持 AV1编码，所以我唯一的选择是基于软件的。软件中的 H.265需要5分钟的15秒剪辑，而 Av1需要10分钟。但这不是同类产品，而是进行了调整以获得最佳性能。我测试了几种不同的质量设置和预设，10分钟是最好的时间。我跑的一个变种花了44分钟。44分钟15秒的视频。这是使用 Netflix 热衷的 SVT-AV1编码器。那里有替代品，但它们要慢得多，比如几个小时和几个小时，要慢得多。

这意味着，如果我有一个一小时的电影，我已经从我的假期方式剪辑到异国情调的地方，那么在我的 PC 上使用硬件加速将其转换为 H.265将需要80分钟。使用当前软件 AV1编码器的相同文件将需要40小时!

这就是为什么它还没有为大众做好准备。编码器将得到改进。软件将变得更好，硬件支持将开始出现。解码器已经变得精简和高效，这就是 Netflix 能够开始将 AV1中的一些内容流式传输到 Android 设备的方式。但就 H.264的普遍替代而言呢?还没有。