关于H.264与VVC中Intra-Prediction、Motion Estimation的数学原理问询

Intra预测从H.264的9种模式演进到VVC含宽角模式的66种，这套演进逻辑完全建立在两个非常朴素的数学前提上：

• 核心假设：自然图像的局部区域满足方向平滑性——即块内像素值沿某一固定方向的空间梯度近似为常数，跨方向不存在亮度突变。这个假设完全匹配自然图像中平坦区域、斜向边缘的局部统计规律。
• 基础实现：对任意一个待编码块，将其坐标系原点设为块左上角坐标，已重构的上方相邻行像素、左侧相邻列像素作为固定参考集。每个预测角度模式对应一个固定的方向斜率，对块内任意像素(x,y)，沿该斜率方向回溯到参考像素位置，通过线性插值计算当前像素的预测值。整个计算过程本质是参考像素的线性组合，无论角度数量多少，都不会引入非线性复杂度，因此角度数量的增加是低边际成本的。

关于模式数量与宽角模式的核心逻辑：

• H.264的9种模式包含1种DC模式（无方向，取参考像素均值的平坦块预测）、1种Planar平滑模式、7种覆盖0~180度区间的等间隔角度模式，角度量化间隔较大，只能匹配大方向的边缘结构。
• VVC的66种模式包含1种DC、1种Planar、64个细分角度模式，角度量化间隔相比H.264缩小了近8倍；同时补充的宽角模式根本没有引入新的预测机制：传统角度模式受参考像素仅来自块上/左邻域的限制，只能覆盖参考像素可投影到的角度范围；当块内边缘方向超出这个范围时，宽角模式通过斜率的坐标映射，将参考像素的选取范围扩展到块的下/右邻域，本质还是同一套线性插值模型，只是拓宽了角度的全范围覆盖，适配任意倾斜方向的局部边缘，进一步缩小角度量化误差带来的预测残差。
• 模式数量的边界本质是收益平衡：当角度细分到一定程度，再增加角度带来的残差能量降低，已经不足以抵消传输模式编号的额外比特开销时，模式数量就不会继续增加，VVC的66种模式就是这个平衡点的最优选择。

从H.264的1/4像素精度到VVC的1/16像素精度，这一升级本质是连续信号采样量化理论在编码框架下的落地：

• 核心假设：现实中的物体运动是连续的平面位移，对应的运动矢量是连续实数值，不会恰好对齐整数像素网格；同时自然图像的频谱是带限的，根据香农采样定理，只要掌握了整数像素网格上的采样值，就可以通过设计的插值滤波器，无失真重建出任意亚像素位置的像素强度。
• 亚像素精度的数学本质：是对连续运动矢量的量化步长调整。1/4像素精度对应运动矢量的量化步长为1/4像素，根据量化原理，运动矢量的最大量化偏差为步长的1/2（即1/8像素）；1/16像素精度对应量化步长为1/16像素，最大量化偏差为1/32像素。
• 残差收益的量化关系：小位移变化下，像素强度随空间位置的变化是近似线性的，因此预测残差的平方和与运动矢量的量化偏差的平方成正比。从1/4像素精度提升到1/16像素精度，理论上可将运动矢量量化带来的残差能量降低为原来的1/16，这部分残差的降低可以大幅减少变换编码后的比特开销。
• 精度升级的触发条件：提升亚像素精度并非无成本——更高的精度意味着需要用更多比特来编码运动矢量。只有当块的尺寸足够小，块内的运动近似一致（即刚性运动假设成立）时，提升精度带来的残差收益才会覆盖传输成本。H.264的最大块尺寸为16x16，块内不同位置的像素运动存在明显差异，块模型本身的误差已经占主导，1/4像素精度就已经达到了收益平衡点；VVC的最小块尺寸到4x4，块内运动场非一致带来的模型误差被大幅削弱，此时将精度提升到1/16像素，带来的残差节省远高于编码高精度运动矢量的额外开销，因此成为了标准的最优选择。

内容的提问来源于stack exchange，提问作者Mallikarjun Kamble