双目标定后如何获取正确视差图？异构相机视差生成问题排查

核心问题分析 #

你当前的核心矛盾是异构模态的特征不匹配：热成像相机捕捉物体红外辐射，光学相机捕捉可见光反射，同一物理点在两类图像中的灰度、纹理特征几乎无相关性。而StereoSGBM这类传统立体匹配算法依赖左右图像的灰度/纹理一致性，自然无法生成有效视差图。此外，你的参数设置也存在几个关键错误：

参数设置的明显问题 #

1. numDisparities必须是16的整数倍：OpenCV的StereoSGBM要求该参数为16的倍数，你代码中max_disparity - min_disparity的结果（100）不符合要求，会导致算法内部逻辑异常。
2. preFilterCap设为0等于关闭预滤波：预滤波用于增强图像纹理对比度，关闭后会大幅降低算法的特征匹配能力，建议设置为31（默认值）。
3. min_disparity设置过大：50的最小值可能超出真实视差范围，直接过滤掉所有有效匹配区域。
4. 缺失后处理步骤：未开启左右一致性检查、斑点去噪等，生成的视差图会充满噪声。

调整方案 #

1. 放弃传统立体匹配，改用跨模态匹配方法 #

热成像+光学的跨模态匹配场景下，传统灰度匹配算法基本无效，推荐两种可行方向：

• 基于特征点的匹配：使用SIFT、ORB等具有旋转/尺度不变性的特征提取算法，先在两幅图像中提取特征点，再通过RANSAC过滤误匹配，最后利用标定得到的相机参数将特征点映射为像素/ROI对应关系。
• 基于深度学习的跨模态立体匹配：使用DGC-Net、CrossStereo这类专门针对异构相机设计的模型，它们能学习跨模态的特征表示，直接输出视差图或像素对应关系。

2. 若坚持使用SGBM的预处理与参数修正 #

如果一定要尝试传统算法，需先对图像做模态对齐预处理，再修正参数：

预处理步骤（缩小模态特征差异）

# 热成像图像纹理增强
imgL_enhanced = cv.equalizeHist(imgL)
# 边缘提取（可选，进一步强化特征一致性）
imgL_edge = cv.Canny(imgL_enhanced, 50, 150)
imgR_edge = cv.Canny(imgR, 50, 150)

参数修正后的代码片段

blockSize = 11
min_disparity = 0  # 从0开始测试，覆盖真实视差范围
max_disparity = 112  # 112-0=112，是16的7倍，符合要求
P1 = 8
P2 = 32

stereo = cv2.StereoSGBM_create(
    minDisparity=min_disparity,
    numDisparities=(max_disparity - min_disparity),
    blockSize=blockSize,
    P1=3*blockSize*blockSize * P1,
    P2=3*blockSize*blockSize * P2,
    disp12MaxDiff=1,  # 开启左右一致性检查，过滤误匹配
    preFilterCap=31,  # 恢复预滤波，增强纹理对比度
    uniquenessRatio=10,
    speckleWindowSize=100,  # 开启斑点去噪
    speckleRange=1,
    mode=cv.StereoSGBM_MODE_HH  # 使用更精确的匹配模式
)

视差图后处理（提升可视化效果）

def redraw():
    disparity = stereo.compute(imgL_enhanced, imgR)
    # 转换为真实视差值
    disp = (disparity.astype(np.float32) / 16.0)
    # 过滤无效视差
    disp[disp < min_disparity] = 0
    # 归一化后转为8位图像显示
    out = cv.normalize(disp, None, 0, 255, cv.NORM_MINMAX, dtype=cv.CV_8U)
    cv.imshow("out", out)

3. 针对最终目标（像素/ROI匹配）的简化方案 #

如果核心需求是找到两幅图像中同一物体的对应ROI，无需生成完整视差图：

1. 在其中一幅图像中手动框选目标ROI。
2. 用SIFT/ORB等算法提取ROI内的特征点，匹配另一幅图像中的对应点。
3. 通过对应点计算单应性矩阵，将ROI映射到另一幅图像中。

总结 #

传统立体匹配算法不适用于异构相机的跨模态匹配，优先考虑特征点匹配或深度学习方案。如果一定要尝试SGBM，必须先做模态增强预处理，同时修正参数错误并添加后处理步骤。

内容的提问来源于stack exchange，提问作者vwertuzy