使用RPI v2相机的StereoSGBM视差图频繁闪烁问题求助

问题描述 #

使用两台间距8.43cm的RPI v2相机搭建立体视觉系统，完成相机校准与立体校正后，采用StereoSGBM计算视差图时出现严重闪烁问题，尝试StereoBM后问题依旧。在Gazebo仿真环境中使用相同流程（仅参数适配仿真）时效果正常：

• 视差图存在大面积无规律的闪烁噪点
• 左右校正后图像已完成行对齐，但细节一致性待确认

相关代码 #

块匹配器初始化代码 #

wsize = 15
max_disp = 16*3
sigma = 1.5
lmbda = 8000.0

block_size = 5
min_disparity = 0
num_disparities = 16
uniqueness_ratio = 10
speckle_window_size = 200
speckle_range = 32
disp_12_max_diff = 1
pre_filter_cap = 63
P1 = 8 * 3 * block_size * block_size
P2 = 32 * 3 * block_size * block_size
mode = cv2.StereoSGBM_MODE_SGBM_3WAY

left_matcher = cv2.StereoSGBM_create(minDisparity=min_disparity,
                        numDisparities=num_disparities,
                        blockSize=block_size,
                        P1=P1,
                        P2=P2,
                        disp12MaxDiff=disp_12_max_diff,
                        preFilterCap=pre_filter_cap,
                        uniquenessRatio=uniqueness_ratio,
                        speckleWindowSize=speckle_window_size,
                        speckleRange=speckle_range,
                        mode=mode)

right_matcher = cv2.ximgproc.createRightMatcher(left_matcher)
wls_filter = cv2.ximgproc.createDisparityWLSFilter(left_matcher)

图像处理与视差计算代码 #

ret_val_l, left_image = left.read()
ret_val_r, right_image = right.read()

if ret_val_r is None and ret_val_l is None:
    break

R1, R2, P1, P2, Q, ROI1, ROI2  = cv2.stereoRectify(camera_matrix_1, distortion_coefficients_1, camera_matrix_2, distortion_coefficients_2, left_image.shape[:2], R, T)

left_image_rect = np.zeros_like(left_image)
x, y, w, h = ROI1
left_image_rect[y:y+h, x:x+w] = left_image[y:y+h, x:x+w]

right_image_rect = np.zeros_like(right_image)
x, y, w, h = ROI2
right_image_rect[y:y+h, x:x+w] = right_image[y:y+h, x:x+w]

left_image_gray = cv2.cvtColor(left_image_rect, cv2.COLOR_BGR2GRAY)
right_image_gray = cv2.cvtColor(right_image_rect, cv2.COLOR_BGR2GRAY)

left_disparity = left_matcher.compute(left_image_gray, right_image_gray)# .astype(np.float32)
right_disparity = right_matcher.compute(right_image_gray, left_image_gray)# .astype(np.float32)

wls_filter.setLambda(lmbda)
wls_filter.setSigmaColor(sigma)  
filtered_disp = wls_filter.filter(left_disparity, left_image_gray, disparity_map_right=right_disparity)

jet_colormap = cv2.applyColorMap(filtered_disp.astype(np.uint8), cv2.COLORMAP_JET)

解决建议 #

1. 硬件与图像输入优化 #

• 强制同步相机参数：关闭RPI v2相机的自动曝光、自动增益、自动白平衡，手动设置相同的固定曝光值、帧率，确保左右图像亮度、对比度完全一致，避免因帧间亮度波动引发匹配跳变。
• 加固相机安装：使用刚性支架固定两台相机，杜绝拍摄过程中的微小震动或位移，防止校正参数失效。

2. 校正流程优化 #

• 复用校正参数：cv2.stereoRectify只需在校准完成后计算一次，保存R1、R2、P1、P2等参数，后续循环直接使用即可，避免重复计算引入的微小误差。
• 使用重映射完成校正：当前仅裁剪ROI的方式未真正执行立体校正的行对齐，需用映射表做重映射：

  # 循环外仅执行一次初始化
  map1x, map1y = cv2.initUndistortRectifyMap(camera_matrix_1, distortion_coefficients_1, R1, P1, left_image.shape[:2], cv2.CV_32FC1)
  map2x, map2y = cv2.initUndistortRectifyMap(camera_matrix_2, distortion_coefficients_2, R2, P2, right_image.shape[:2], cv2.CV_32FC1)
  
  # 循环内执行校正
  left_image_rect = cv2.remap(left_image, map1x, map1y, cv2.INTER_LINEAR)
  right_image_rect = cv2.remap(right_image, map2x, map2y, cv2.INTER_LINEAR)
  # 可选：裁剪ROI去除无效区域
  

• 增加图像预处理：对校正后的灰度图做高斯模糊（cv2.GaussianBlur(left_image_gray, (3,3), 0)）减少高频噪声，或用直方图均衡化增强纹理，提升匹配稳定性。

3. StereoSGBM参数调优 #

• 扩大视差范围：当前num_disparities=16过小，对于8.43cm基线的相机，近距离目标视差会超出范围，建议调整为64（需为16的整数倍）。
• 增大匹配块尺寸：block_size=5易受噪声影响，尝试改为9或11（必须为奇数），提升匹配窗口的鲁棒性。
• 强化噪点过滤：将speckle_window_size调至50、speckle_range调至2，增强对小面积闪烁噪点的抑制。
• 提升平滑度参数：增大P2系数（如改为48*3*block_size²），强化视差图的平滑性，减少帧间跳变。

4. 后处理优化 #

• 时间域滤波：对连续帧的视差图做加权平均（如当前帧视差=0.7当前计算值 + 0.3上一帧视差值），抑制帧间跳变。
• 无效视差填充：用周边有效像素插值填充视差图中的无效区域，避免黑块闪烁。

内容的提问来源于stack exchange，提问作者Ketan P