下一代视频编码技术2023

下一代视频编码技术

下面将从这两个角度来介绍华为云视频在下一代视频编码技术上的一些工作。这些技术得益于华为2012 媒体技术院全力支持。

2.1 下一代视频编码标准技术

从上图可以看出，下一代的视频编码标准大概分为三个阵营或者三个类型：
国际标准：由 MPEG、VVC 联合推动的像 VVC/H.266还有 EVC。
国内标准：国内标准组织正在推出或已经推出 AVS3 的 phase1、AVS3 的 phase2，两者主要差别在于 AVS3 第1 阶段标准瞄准 H.266，第二阶段的标准则是瞄准未来, 可能会加入一些智能编码的技术。
谷歌牵头的 AOM 联盟推出的 AV1，是一个开源技术。

下一代的视频编码技术仍是采用传统的演进思路——在经典架构上做模块增强。在H.266CFP 时，华为联合其他几家公司提了 P41 提案，在 PSNR 和 MOS 评估方面都是排名第一，这个提案也是后面的基础。华为在 VVC 里的核心专利数量已属于第一阵营，这是一个了不起的成就，也说明了国内的视频压缩编码基础研究实际上不弱于欧美传统的公司。

以 VVC 为例，对其新增的增强工具进行盘点。纵轴是每个工具的压缩收益，横轴是每个工具编解码复杂度，编码复杂度的权重可能会更高一点。VVC 在块划分、帧内预测、帧间预测、熵编码、变换量化等多个模块上进行了增强，其中主要的增强是帧内、帧间预测、块划分、滤波的增强以及机器学习工具演进带来的收益。VVC 暂时没有引入深度学习这一类编码工具。

图中还有三个用红圈标出来的工具，这是 VVC 中公认 trade off 比较好的三个工具点。蓝色的是 ALF，这是大家比较熟悉的自适应环路滤波，其实它在 H.265的时代就已经有了， H.266 将它引入标准中；绿色的是仿射运动预测，这个主要是由华为提出的；橙色的是量化技术。

EVC 标准的提出某种程度是因为 H.265/H.266的专利政策不友好，有可能导致 H.266 的落地都比较困难。MPEG 希望能通过一个新的专利友好的标准来推动落地，同时也促使改变 H.266、H.265 的专利授权政策。EVC 由华为、三星、高通等共同提出推动，华为在这里面加入了很多技术。在标准立项时期望它比 H.265 的压缩性能提升20%，实测在4K 娱乐视频上相比 H.265 压缩效率提升达30% 以上，目前已经进入了最终的标准投票阶段。

AVS3 是国内提出的标准，它的 phase1 是瞄准 H.266 标准的，并且在2019 年3 月份就已经制定完成率先推出，在2019 年9 月份，华为海思也同步推出了 AVS3 8K 的解码芯片，AVS3 相对H.265 性能提升了20% 以上，并且针对娱乐视频和监控视频做了很多针对性的设计，性能上还可进一步提升。

H.266 实际已经基本定稿，它的压缩效率在4K 视频场景下相较于 H.265 能提升40% 左右，其解码复杂度相对提升60%，目前看最大的问题还是专利政策不够透明，而且专利费可能比较高，推广节奏可能相对比较慢。

EVC 也基本定稿， 而且其压缩效率也能提升30% 左右，解码复杂度相对 H.265 增加60%。其专利收费可能相对比较低，第二是他的专利收费比较透明和明确，目前主要依靠三星、华为、高通来做产业的推动和生态的构建。

AVS3 在2019 年3 月份推出，在性能上还是有保证的，压缩效率能够提升25%，复杂度增加相对较低，其专利收费也是比较低的，正通过互联网等行业做产业的推动和生态构建，目前实际上有很多联盟和公司正在做推动，我们也希望 AVS3 尽快落地。

表格中没有列举 AV1 的数据，这主要是因为它和其他三个标准不太一样，AV1 开源软件实际上是瞄准商用化去做的，大家也比较清楚其压缩效率和解码复杂度。AV1 有个很大的优势就是没有专利费，这是 AOM 联盟的承诺。在产业落地方面 AV1 做的很好，生态构建走的较前。

2.2 AI编码
下一代视频编码标准还有一个趋势就是 AI 编码，这一块实际上从 HEVC、VVC 标准制定就有提出，但因为考虑计算复杂度以及 AI 硬件普适性，都暂时搁置了。但这是个技术趋势。

AI 编码包括两个演进思路：
第一个是全新架构，类似于图像编码，实际上 AI 的图像编码已经取得了不错的成效，谷歌牵头的 AI 图像编码技术都已经得到了很好地应用，但针对视频中的应用还在探索过程中。所谓的全新架构，就是不用传统架构，视频进入黑盒后会得出一个压缩过的视频，这个视频可能没有块划分，也没有各种其他的方式，它的压缩效率会非常高，但这一切还处于研究的过程中。

另外一个思路是基于经典架构，对每个架构里的模块做增强。例如针对块划分、变换、矢量量化、帧内预测做不同的 AI 网络适应和增强。实际上华为也在做这方面的研究，未来可能会提出一些 AI 编码方面的论文或提案。并且我们认为 AI 编码的这两种思路，最终将是融合设计的过程，不会呈相互孤立的状态。

3. 华为云视频应用和实践

3.1 云视频简介
上面简单介绍了下一代视频编码标准技术，下面介绍一下从实际商用及非标角度，介绍一下华为云视频在视频编码技术上的应用和实践。

首先介绍一下华为云视频，华为云视频是从2017 年开始构建的，目前包括两大类业务，一种是比较传统的直播、点播、媒体处理以及监控业务，另一种是整个行业正在新晋的服务，比如 RTC、VR/AR 以及超高清直播。华为云视频面向很多的场景，例如娱乐直播、短视频、在线教育、企业直播、4K 直播、4K 制作等等，我们致力于帮助行业客户、伙伴、开发者、ISV 快速上线应用，并帮他们构建差异化的竞争力，实现商业闭环。这里需要重点提一下 RTC，RTC 是华为云视频对下一代视频的理解并作出了实际的推动，针对 RTC，我们重点构建超低时延、音视频质量等差异化竞争力。

3.2 视频编码技术
3.2.1视频编码框架
结合今天的主题，下面重点讲解华为云视频在视频编码技术上的一些工作。这些技术得力于华为2012 媒体技术院全力支持。编码内核采用了一个标准的编码器，类似于前面提到的 H.264、H.265、AVS3、H.266 或者 EVC 这一类，在这个编码内核的基础上，我们面向不同的场景做了不同的编码技术的优化和实践。比如面向 RTC 实时音视频场景，采用低时延编码技术；面向 VR 场景，采用 FOV tile 编码；面向多视角场景，采用空间云边协同编码；面向监控场景，采用智能语义编码；面向直播、点播，采用感知编码和画质增强等；另外，华为云视频借助鲲鹏、昇腾两大专有硬件，加速视频编转码效率。鲲鹏主要面向 CPU 这类计算，昇腾主要面向 AI 方面的加速。

3.1.2标准编码内核
接下来分别介绍一下视频编码的技术，第一是编码内核，华为云在商用编码器上面也有很多的技术积累。比如说近几年在 MSU 的大赛上，HW265 编码器连续两年获得多项测评的第1 名，今年我们也会向 MSU 推出新的编码器。

3.2.3 高清低码
第二个技术是高清低码，高清低码目前在各个厂商或者商业领域里是大家比较默认的技术，也就是说在基于标准编码内核的基础上，能降低码率的同时保证主观质量没有下降，但实际上高清低码理论可行性是现有视频编码是基于香农定理，它的率失真模型都是连续的，但是人眼视觉模型是阶梯性非连续的，在这个阶梯上存在一个降码率的空间。

高清低码一般情况下包括三个模块：
第一是基于人眼 JND 模型，就是说如何找出 JND；
第二是基于 JND 去做感知编码；
第三就是通过感知编码来控制标准编码内核输出，在主观质量不变的情况下大幅降低码率。

高清低码技术现在也走到了一个瓶颈期，原有高清低码的考虑仅来源于编码与传输信道，随着 AI 技术的发展，是否还有进一步的发展空间？

超低时延编码
RTC 场景是我们面向下一代视频产业重点打造的服务能力，RTC 场景下主要是超低时延的编码，我们提出了一个综合的超低时延方案，比如编码和渲染联合优化、编码的内核以及分层编码和信源信道协同等技术手段，面向不同的实时场景会做不同的组合或者应用，我们初步试验发现在1080P 这种场景下进行编码和解码，整体的时延能达到十毫秒级别。

下一代视频编码技术

从上图可以看出，下一代的视频编码标准大概分为三个阵营或者三个类型：
国际标准：由 MPEG、VVC 联合推动的像 VVC/H.266还有 EVC。
国内标准：国内标准组织正在推出或已经推出 AVS3 的 phase1、AVS3 的 phase2，两者主要差别在于 AVS3 第1 阶段标准瞄准 H.266，第二阶段的标准则是瞄准未来, 可能会加入一些智能编码的技术。
谷歌牵头的 AOM 联盟推出的 AV1，是一个开源技术。

下一代的视频编码技术仍是采用传统的演进思路——在经典架构上做模块增强。在H.266CFP 时，华为联合其他几家公司提了 P41 提案，在 PSNR 和 MOS 评估方面都是排名第一，这个提案也是后面的基础。华为在 VVC 里的核心专利数量已属于第一阵营，这是一个了不起的成就，也说明了国内的视频压缩编码基础研究实际上不弱于欧美传统的公司。

以 VVC 为例，对其新增的增强工具进行盘点。纵轴是每个工具的压缩收益，横轴是每个工具编解码复杂度，编码复杂度的权重可能会更高一点。VVC 在块划分、帧内预测、帧间预测、熵编码、变换量化等多个模块上进行了增强，其中主要的增强是帧内、帧间预测、块划分、滤波的增强以及机器学习工具演进带来的收益。VVC 暂时没有引入深度学习这一类编码工具。

图中还有三个用红圈标出来的工具，这是 VVC 中公认 trade off 比较好的三个工具点。蓝色的是 ALF，这是大家比较熟悉的自适应环路滤波，其实它在 H.265的时代就已经有了， H.266 将它引入标准中；绿色的是仿射运动预测，这个主要是由华为提出的；橙色的是量化技术。

EVC 标准的提出某种程度是因为 H.265/H.266的专利政策不友好，有可能导致 H.266 的落地都比较困难。MPEG 希望能通过一个新的专利友好的标准来推动落地，同时也促使改变 H.266、H.265 的专利授权政策。EVC 由华为、三星、高通等共同提出推动，华为在这里面加入了很多技术。在标准立项时期望它比 H.265 的压缩性能提升20%，实测在4K 娱乐视频上相比 H.265 压缩效率提升达30% 以上，目前已经进入了最终的标准投票阶段。

AVS3 是国内提出的标准，它的 phase1 是瞄准 H.266 标准的，并且在2019 年3 月份就已经制定完成率先推出，在2019 年9 月份，华为海思也同步推出了 AVS3 8K 的解码芯片，AVS3 相对H.265 性能提升了20% 以上，并且针对娱乐视频和监控视频做了很多针对性的设计，性能上还可进一步提升。

H.266 实际已经基本定稿，它的压缩效率在4K 视频场景下相较于 H.265 能提升40% 左右，其解码复杂度相对提升60%，目前看最大的问题还是专利政策不够透明，而且专利费可能比较高，推广节奏可能相对比较慢。

EVC 也基本定稿， 而且其压缩效率也能提升30% 左右，解码复杂度相对 H.265 增加60%。其专利收费可能相对比较低，第二是他的专利收费比较透明和明确，目前主要依靠三星、华为、高通来做产业的推动和生态的构建。

AVS3 在2019 年3 月份推出，在性能上还是有保证的，压缩效率能够提升25%，复杂度增加相对较低，其专利收费也是比较低的，正通过互联网等行业做产业的推动和生态构建，目前实际上有很多联盟和公司正在做推动，我们也希望 AVS3 尽快落地。

表格中没有列举 AV1 的数据，这主要是因为它和其他三个标准不太一样，AV1 开源软件实际上是瞄准商用化去做的，大家也比较清楚其压缩效率和解码复杂度。AV1 有个很大的优势就是没有专利费，这是 AOM 联盟的承诺。在产业落地方面 AV1 做的很好，生态构建走的较前。