立体校正中外参（平移/旋转）的影响及原理技术问询

我来帮你拆解一下立体校正里外参的作用——你已经做了不少对照实验，也啃了经典文献，那咱们从极线几何和校正算法的核心逻辑入手，把你观察到的现象逐一对应起来：

一、立体校正的核心目标先搞清楚 #

立体校正本质上是把两个相机的极线几何“掰正”：让左右图像的对应极线完全水平且共线，这样后续做立体匹配时，只需要在同一行里搜索对应点，不用再处理倾斜的极线。换句话说，校正就是通过变换把两个相机的成像平面调整到共面且行对齐的状态，同时消除畸变。

二、平移向量(T)对校正的影响 #

你做的几组T参数实验，刚好能对应平移分量的不同作用：

• 当T=[0,0,0]时：这相当于两个相机完全重合，没有任何基线距离，校正后左右图像完全一致，没有视差。这时候算法不需要为了对齐极线裁剪图像，反而会保留更多原本被遮挡的区域（比如你看到的顶部可视区域增加）——但这种状态下根本无法计算深度，因为视差为0。
• 当T被放大（比如[2 0.5 0.2]mm、[140 3 3]mm）时：你发现“缩放因子对校正过程影响小”，这是因为你用了CALIB_ZERO_DISPARITY模式（alpha设为0），stereoRectify会自动调整投影矩阵P1/P2，不管T的绝对值多大，最终都会保证极线水平对齐。但为什么说对深度分析影响大？因为深度Z和视差d的核心公式是：

  Z = fx * T_x / d
  

  T的绝对值越大，相同视差对应的深度越小，深度分辨率会提升，但同时视差范围会变大，立体匹配的难度也会增加（需要搜索的像素范围更广）。
• T的非X分量（T_y/T_z）：这两个分量是相机上下、前后的平移，校正时会通过旋转矩阵R1/R2把这些分量带来的极线倾斜修正掉，最终校正后的图像还是水平极线，但T_y/T_z会改变有效像素区域的位置（比如你观察到的顶部可视区域变化）。

三、旋转向量(R)对校正的影响 #

R是两个相机之间的相对旋转，这是校正过程中最核心的调整对象：

• 如果两个相机原本光轴平行（R是单位矩阵），那校正需要做的旋转很小，甚至只需要处理畸变和投影对齐，校正后的图像和原图像差异不大。
• 如果R很大（比如你的可旋转相机系统转了一个角度），stereoRectify会计算出R1和R2，分别把左右相机的成像平面旋转到同一个平面，强行把倾斜的极线拉成水平。这时候校正后的图像可能会有明显的裁剪（alpha=0时会裁掉所有无效像素），因为旋转后部分像素会超出原图像范围。

四、结合你用的OpenCV流程再细化 #

你用的stereoRectify→initUndistortRectifyMap→remap是标准的立体校正流程，每一步都和外参直接相关：

1. stereoRectify：核心是根据内参、外参(R,T)计算出校正旋转矩阵R1/R2和投影矩阵P1/P2：
   • R1/R2：分别给左右相机的图像做旋转，让两个成像平面共面；
   • P1/P2：把3D点投影到校正后的图像上，CALIB_ZERO_DISPARITY模式下，P1的第4列是[0,0,0,1]^T，P2的第4列是[-fx*T_x, 0, 0, 1]^T，保证同一行的视差直接对应深度。
2. initUndistortRectifyMap：把畸变校正+旋转校正的变换预计算成映射表，这样remap可以高效完成图像像素的重映射。
3. alpha=0的作用：这个参数控制校正后图像的裁剪程度，alpha=0会裁掉所有校正后超出原图像范围的无效像素，所以你看到的是刚好包含有效对齐区域的最小图像；如果设为1，会保留所有原图像像素，用黑边填充无效区域。

五、为什么经典文献没给你明确答案？ #

《A compact algorithm for rectification of stereo pairs》和Szeliski书里的内容，更多是讲校正算法的数学实现（比如如何推导R1/R2的计算方式），但没有把外参的数值变化和具体实验现象直接对应起来。其实核心逻辑很简单：外参(R,T)决定了需要做多少旋转和投影变换来让极线对齐，校正算法的目标就是消除R带来的极线倾斜，把T带来的视差转化为水平方向的行对齐。

内容的提问来源于stack exchange，提问作者MichalSzczep