入门丨视频编码简述

摘要：灵活的块划分对编码性能提升最大，块划分包括编码单元预测单元和变换单元。视频解码的意义视频转码技术是一种解决视频发送端与接收端兼容性问题的技术，它能实现不同的视频标准视频分辨率视频帧率和视频码率等之间的相互转换。

作者：图鸭科技 微信公众号：tucodec

当大家看电影追剧时，是看的高清还是标清？

图鸭君觉得只要网速够得上的小伙伴应该没有人愿意再看标清了吧！毕竟高清视频的高分辨率和清晰画质观影体验更好。

伴随着用户对高清视频需求量的增加，视频多媒体的视频数据量也越来越大。如果不经过压缩，这些视频将很难应用于实际的存储和传输。视频压缩解码技术可以有效地去除视频数据中的冗余信息，实现视频数据在互联网中的快速传输和离线存储。因此，视频压缩解码技术是视频应用中的一项关键性技术。

在过去的几十年中，一系列视频编码标准被推出并广泛应用。现有的视频压缩标准就有很多种，包括国际标准化组织（International Organization for Standardization, ISO）/国际电工技术委员会（International Electrotechnical Commission, IEC）制定的MPEG-1、MPEG-2、MPEG-4标准；国际电信联盟电信标准化部门（International Telecommunication Union-Telecom, ITU-T）制定的H.261、H.263等。

2003年3月，ITU-T和ISO/IEC 正式公布了H.264/MPEG-4 AVC视频压缩标准。H.264作为目前应用最为广泛的视频编码标准，在提高编码效率和灵活性方面取得了巨大成功，使得数字视频有效地应用在各种各样的网络类型和工程领域。为了在关键技术上不受国外牵制、节约专利费用支出，中国制定了AVS系列标准，可以提供与H.264/AVC相当的编码效率。

近年来随着用户要求的不断提升，高清（1920x1080）和超高清（3840x2160）视频的应用越来越广泛。相比于标清视频，高清视频分辨率更大更清晰，但是相应的数据量也随之增加。在存储空间和网络带宽有限的情况下，现有的视频压缩技术已经不能满足现实的应用需求。为了解决高清及超高清视频急剧增长的数据率给网络传输和数据存储带来的冲击，ITU-T和ISO/IEC联合制定了具有更高压缩效率的新一代视频压缩标准HEVC（High Efficiency Video Coding）。

HEVC基于传统的混合视频编码框架，采用了更多的技术创新，包括灵活的块划分、更精细的帧内预测、新加入的Merge模式、Tile划分、自适应样点补偿等。灵活的块划分对编码性能提升最大，块划分包括编码单元（CU）、预测单元（PU）和变换单元（TU）。这些技术使得HEVC编码性能比H.264/AVC提高了一倍。但是，这些技术也使得HEVC编码器的复杂度大大增加，不利于HEVC编码器的实时应用和推广。

HEVC高性能的获得是以巨大的计算复杂度为代价的：HEVC是通过递归对每个编码单元进行率失真优化过程（RDO）来选择最优的模式划分，这种方法的复杂度很高。因此，降低HEVC编码复杂度的研究工作具有重要的实际应用价值和广泛的应用前景。

视频转码技术是一种解决视频发送端与接收端兼容性问题的技术，它能实现不同的视频标准、视频分辨率、视频帧率和视频码率等之间的相互转换。釆用视频转码技术只需要改变发送端的系统结构或者在网关处增加相应的转码器即可，无需对接收端做任何修改。

视频转码技术不仅能调整视频流的分辨率、帧率、码率等各种属性去适应不同的终端用户和网络带宽，还可以对视频流的压缩格式、语法结构等进行转换，因此视频转码技术应用广泛。

总体来说，该技术研究实用价值非常高，它将用来满足更多领域的数字视频转换需求，不仅覆盖包括媒体网管多会议单元、视频监控、视频广播转码和医疗设备等商用产品中，还可以用于包括高清视频会议终端数字媒体适配器、高清网络摄像机、视频电话和高级数字机顶盒等产品。

近年来，伴随着HEVC编码标准在开发过程中一步步的完善，国内外相关组织和科研机构在HEVC编码算法方面也给出了很多有效的建议，陆续有科研论文发表于视频图像领域顶级期刊和会议，包括IEEE Trans. CSVT、IEEE Trans. Multimedia、ICIP、ICME、PCS、VCIP等。

灵活的数据划分方式，是HEVC标准非常显著的特点之一。借助于遍历搜索确定CU，PU和TU划分方式等编码参数，HEVC的率失真性能显著优于之前的编码标准，但这也引入了大量的计算复杂度。帧间CU快速选择算法是根据相邻CU深度信息或编码中间参数等对CU大小和帧间PU模式进行提前判断，从而降低编码复杂度的过程。根据利用的信息不同，帧间CU的快速选择方法可以分为基于相邻CU深度信息、基于编码中间参数、基于率失真代价的快速选择方法。

帧内CU的快速选择算法是对CU的纹理复杂程度进行评估或根据相关CU深度信息等，实现CU尺度和帧内预测模式的快速选择，从而降低编码复杂度的过程。根据使用信息的不同，帧内CU的快速选择方法可以分为基于纹理复杂度、基于相邻CU信息、基于子CU信息和基于率失真代价的快速选择方法。

在实际应用场合，传输带宽通常都是有限的，如何在有限的带宽下尽可能保证视频的质量，即码率控制，是视频编码技术需要解决的一个重要问题。对于以高清、超清视频作为主要编码对象的HEVC标准来说，如何在有限的带宽资源下合理分配码率，使视频质量达到最佳，也就成为了编码时需要考虑的重要问题。

目前码率控制模型可以分为三大类：Q域，ρ_域和λ_域。此外，还有很多相关码率控制方面的算法，包括针对帧层比特分配问题提出的改进算法、通过调整拉格朗日因子来改进码率控制的算法、根据初始量化参数选取问题提出新的初始量化参数预测算法、针对场景切换问题提出新的算法、考虑图像复杂度以建立更准确的码率控制等等。还有一些针对特定应用所提出的码率控制算法，例如无线应用、高清应用等。对新一代的H.265/HEVC，如何有效的从各个方面来改进码率控制也逐渐成为研究热点。

随着互联网和移动网络的快速发展，市场对更高分辨率视频的需求越来越大，高质量视频服务在网络数据中占据比例越来越高，虽然网络带宽在不断增加，依然无法满足用户对于视频质量的需求，使得更高压缩效率的编码技术成为工业级和学界研究的热点。

在这种背景下，HEVC应运而生，虽然HEVC保持了高压缩比，但是其复杂运算也限制了其推广和应用。所以在保持转码视频质量的前提下，大幅度优化转码过程的复杂度是一个值得大家共同研究的课题。