基于校正图像视差图计算真实深度的度量重建疑问

嘿，这个问题问到点子上了，咱们一步步把它理清楚：

首先可以明确：这个公式本身完全可以实现度量重建，前提是你手里的参数（基线baseline、焦距focal、像素常数p）都是真实的物理度量单位（比如基线用米，焦距是对应物理焦距或转换为像素单位的等效焦距，p是每个像素对应的物理尺寸，比如米/像素）。

因为校正后的立体对已经把极线对齐成水平方向，对应点的y坐标完全一致，视差就是左右图对应点的x坐标差（d = x_left - x_right）。这个公式本质就是立体视觉三角化的简化推导，完全符合几何原理，所以公式本身是成立的，结合校正图像是可以做度量重建的。

视差d=0时公式确实会出现除以零，得到无穷大的深度值，但这在物理意义上是合理的——对应点位于无穷远处（比如极远的星空），本来就没有有限的深度。实际处理中你可以：

• 直接把d=0的像素标记为「无穷远」，不参与后续的3D重建；
• 如果是视差计算误差导致的少量d=0像素，可以用邻域插值或滤波填补，但要注意别引入错误的深度值。

你提到把视差从[-32,128]平移到[1,161]会因1/d的非线性破坏线性尺度重建，这里其实有个误解：度量重建根本不需要深度和视差是线性关系，度量重建的核心是深度值要和真实物理空间的尺度一致，而不是深度与视差的关系线性。

强行平移视差的问题在于，原始视差的正负是有物理意义的：

• d>0：物体在相机前方（相对于校正后的立体系统基线），深度有限且为正；
• d=0：无穷远；
• d<0：物体在基线的另一侧（比如左右相机摆放时，物体在右相机的右侧），此时公式计算出的深度为负，物理上表示「在相机后方」，如果是场景中真实存在的可以保留，若是视差计算错误则过滤掉。

平移视差相当于改变了视差的原点，此时公式里的d不再是真实的x坐标差，自然会导致深度尺度错误。所以正确的做法是保留视差的原始符号和数值范围，不要做平移：

• 对d>0的像素：用公式计算正深度，对应相机前方的物体；
• 对d=0的像素：标记为无穷远；
• 对d<0的像素：根据场景需求决定保留负深度（表示基线另一侧）还是过滤。

1. 这个公式结合校正图像完全可以实现度量重建，只要参数是真实物理度量值，且视差是校正后左右图对应点的x坐标差；
2. 视差为0是物理上的无穷远，无需强行处理，直接标记即可；
3. 不要平移视差范围，原始视差的符号和数值是保证深度尺度正确的关键，1/d的非线性是视差与深度的自然几何关系，完全不影响度量重建的正确性——度量重建要求的是深度值匹配真实世界尺度，而非深度与视差线性相关。

内容的提问来源于stack exchange，提问作者Miau