OpenCV-Python立体相机：undistortPoints()与initUndistortRectifyMap()+remap()结果差异

这个问题我做立体视觉项目时也踩过坑，核心原因是这两个函数的输出坐标空间完全不同：undistortPoints()默认输出的是归一化相机坐标系下的坐标（z=1平面），而initUndistortRectifyMap()+remap()直接输出的是校正后图像的像素坐标。要让两者结果匹配，只需要把undistortPoints()的输出转换到像素空间即可，具体方法如下：

一、最直接的解决方式：调用undistortPoints()时指定投影矩阵 #

OpenCV的undistortPoints()函数有个可选参数P，传入校正后的投影矩阵PL（左相机）或PR（右相机）后，函数会自动把归一化坐标转换为校正后的像素坐标，和remap()的结果完全对齐。

示例代码（左相机为例） #

import cv2
import numpy as np

# 假设你已经通过立体标定得到以下参数
# ML, DL: 左相机内参、畸变系数
# MR, DR: 右相机内参、畸变系数
# R, T: 相机间旋转矩阵、平移向量
# IMG_SIZE: 图像尺寸 (width, height)
RL, RR, PL, PR, Q, _, _ = cv2.stereoRectify(ML, DL, MR, DR, IMG_SIZE, R, T, alpha=1)

# 原始图像点：格式为 Nx1x2 的 float32 数组
src_left_points = np.array([[[150, 250], [400, 300]]], dtype=np.float32)

# 正确调用undistortPoints，传入校正后的投影矩阵PL
rectified_points = cv2.undistortPoints(src_left_points, ML, DL, R=RL, P=PL)

# 此时rectified_points的结果和remap处理后的像素坐标完全一致

二、手动转换归一化坐标到像素坐标（如果已经拿到默认输出） #

如果你已经调用了默认的undistortPoints()得到归一化坐标，可以通过投影矩阵手动转换为像素坐标，步骤如下：

1. 将归一化坐标转换为齐次坐标（添加z=1分量）
2. 用校正后的投影矩阵PL/PR做矩阵乘法
3. 除以齐次坐标的z分量，得到最终像素坐标

示例代码 #

# 假设已经得到默认输出的归一化坐标
norm_points = cv2.undistortPoints(src_left_points, ML, DL, R=RL)

# 转换为齐次坐标 (Nx1x3)
homogeneous_points = np.concatenate([norm_points, np.ones_like(norm_points[..., :1])], axis=-1)

# 用PL矩阵计算像素坐标
pixel_points = np.dot(homogeneous_points, PL.T).squeeze()
# 齐次坐标转换为像素坐标，需除以z分量
pixel_points = pixel_points[:, :2] / pixel_points[:, 2:3]

三、关键注意事项（避免再次踩坑） #

• 保持alpha参数一致：你在stereoRectify中用了alpha=1，这个参数控制校正后图像是否保留所有原始像素，两种方法必须使用同一个alpha值，否则投影矩阵PL/PR会不同，结果必然不匹配。
• 图像尺寸严格匹配：IMG_SIZE必须和你处理的图像实际尺寸完全一致，否则映射表和投影矩阵的缩放比例会出错。
• 数据类型统一：所有点和矩阵都要使用float32类型，避免整数运算带来的精度误差。
• 验证一致性：可以取几个特征点，分别用两种方法计算，对比坐标误差（正常应该小于1个像素，因为remap用了插值，可能有微小差异）。

内容的提问来源于stack exchange，提问作者Obli