视图合成中Mesh/splatting based warping对比及局限分析

目前没有任何被新视角合成、实时渲染领域广泛共识的公开学术研究，能够证明Mesh-based Warping和Splatting-based Warping两类方法存在全局的、脱离具体应用场景的整体效果优劣。两类方法的表现差异完全绑定输入条件、场景属性和算力约束，从来不存在无前提的“某类方法全面更优”的结论。

Mesh-based Warping的技术短板与应用局限 #

• 对深度图的轮廓误差、空洞缺陷极其敏感。这类方法的核心流程是把RGB-D对应的3D点集三角化成连续网格，再投影到目标视角。只要原深度图在物体边缘存在毫米级的测量误差、或是遮挡区域存在深度空洞，三角化过程就会把分属不同物体的不连续点强行连成无效的跨物体三角形，投影后直接出现严重的纹理拉伸、色块错配伪影，这类伪影往往很难通过后处理彻底修复。
• 大视差下的空洞补全成本很高。当源视角和目标视角的视差较大时，Mesh投影后会在所有原视角被遮挡的区域留下无纹理的空白，必须额外配合深度补全、纹理插值的后处理流程，一旦补全逻辑处理不当，就会出现边缘模糊、结构错配的问题。
• 对高细节、非刚性场景的适配性差。三角化过程天然会抹平物体表面的细微视差结构，比如动物毛发、半透明介质、细碎植被叶片这类深度值波动范围极大的区域，三角化投影后会出现明显的纹理走样，没法还原原生的高频细节。
• 质量上限被输入深度图的精度完全锁死。只要输入的深度图分辨率、测量精度不足，Mesh类方法就没法通过后续操作把已经丢失的高频细节补回来，整个warping结果的质量天花板，从输入确定的那一刻就已经固定。

Splatting-based Warping的技术短板与应用局限 #

• 可见性判断的鲁棒性弱。这类方法的核心流程是直接把每个带颜色的3D点（即splat单元）投影到目标视角的像素平面，按照深度值排序后覆盖对应像素。只要深度测量存在轻微误差，就会出现前后点的深度排序颠倒，最终出现本该被近处物体遮挡的远处物体错误盖在近处表面，形成鬼影、结构穿透类的伪影。
• 大视差下容易出现投影离散问题。当源目标视角的视差较大时，原本在源视角能连续覆盖像素的splat点，投影到目标视角平面后会散开成离散的点阵，表面布满无颜色的孔洞，必须额外做点扩张、空洞填充的操作，反而会导致物体边缘模糊。
• 轮廓区域容易出现颜色混叠。多个splat点投影到同一个目标像素时，如果没有做精准的权重融合，很容易出现相邻物体的颜色互相渗透的问题，尤其是在物体轮廓边缘，会出现类似颜色拖影的溢出伪影。
• 运行效率的稳定性差。和Mesh类方法可以靠固定三角化流水线实现确定性运行耗时不同，splatting的点排序、权重融合逻辑在点数量较大时，计算耗时会出现非线性增长，在嵌入式、实时渲染这类资源受限的场景下，很难稳定达到实时性能要求。

目前所有公开的两类方法对比实验，结论都只在特定约束下成立：比如在深度精度极高、视差很小的室内近距离场景下，Mesh方法生成的结果纹理连续性更好、伪影更少；但在深度噪声较大、视差偏大的室外场景下，splatting因为不需要提前生成三角网格，反而不容易出现跨物体的三角拉伸错误，整体鲁棒性更强。两类方法从来没有在所有评价指标（重建精度、纹理保真度、伪影发生率、运行速度、内存占用）上出现过一类全面碾压另一类的结果。

内容的提问来源于stack exchange，提问作者Nagabhushan S N