1. RMS=0.20的立体标定精度是否足以获取清晰视差图与完整视场点云？ #

你的立体标定RMS误差0.20像素，结合单相机标定0.16左右的RMS，这个精度完全足够支撑清晰视差图和完整点云的生成：

• 立体标定的RMS是像素级平均重投影误差，行业内一般认为只要低于0.5像素，就不会成为立体匹配的核心瓶颈；0.2的误差属于非常优秀的标定结果，说明左右相机的内参、外参校准精度很高。
• 你提到校正图像带有水平对齐线，也侧面验证了标定的有效性。虽然局部区域可能存在微小偏差，但整体上这个精度已经能为立体匹配提供可靠的基础。

2. 如何获得稳定、清晰的视差图与深度图？ #

结合你的设备特性（1280*720@30FPS、鱼眼镜头、普通传感器）和代码实现，我从硬件预处理、参数调优、算法优化三个维度给出具体建议：

一、硬件与图像预处理优化 #

• 彻底校正鱼眼畸变：
  你当前用普通单相机标定消除鱼眼畸变，效果可能不够彻底。鱼眼镜头的畸变模型和普通透视镜头不同，建议改用OpenCV的cv::fisheye模块进行标定和校正，它专门针对鱼眼的极端畸变设计，能更彻底消除边缘畸变，避免残留畸变干扰立体匹配。
• 固定相机曝光参数：
  你提到的亮度波动问题，大概率是相机自动曝光/自动增益波动导致的。建议关闭自动曝光、自动增益功能，手动固定曝光时间和增益值，确保左右相机帧的亮度一致，这是稳定立体匹配的前提。
• 统一图像预处理流程：
  看你的代码，CPU版本做了COLOR_BGR2GRAY转灰度，但GPU版本直接用彩色图输入StereoBM，这会导致匹配结果不一致。不管CPU还是GPU版本，都要先将左右帧转成灰度图，还可以加上CLAHE直方图均衡增强对比度，提升低纹理区域的匹配稳定性。

二、立体匹配参数调优 #

1. StereoBM核心参数优化

你的代码中num_disp_和block_size_是关键，建议根据场景调整：

• num_disp_：必须是16的倍数，代表视差搜索范围。中近距离场景（0-10m）可设为64或128；远距离场景适当增大到256。
• block_size_：必须是奇数，代表匹配窗口大小。纹理丰富的场景用小窗口（如5、7），纹理稀疏的场景用大窗口（如15、21）。
• 额外参数：可以增大textureThreshold（默认10），过滤低纹理区域的无效匹配；调整preFilterCap（默认31），增强边缘区域的匹配鲁棒性。

2. WLS滤波参数调整

你当前设置的Lambda=8000.0和SigmaColor=1.5可根据实际效果微调：

• Lambda：值越大，视差图越平滑但丢失细节；细节丰富的场景可减小到4000-6000，需要平滑结果时增大到10000以上。
• SigmaColor：值越大，允许的颜色差异越大，适合亮度波动大的场景，可尝试增大到2.0-3.0，提升滤波稳定性。

三、算法与后处理优化 #

• 替换为StereoSGBM算法：
  StereoBM是快速但精度一般的算法，StereoSGBM（半全局匹配）能生成更精确、鲁棒的视差图，尤其适合纹理复杂的场景。你可以替换代码中的cv::StereoBM为cv::StereoSGBM，重点调整P1、P2参数（P2一般设为P1的3-5倍，控制平滑度）。
• 增加视差图后处理：
  在WLS滤波后，可添加形态学开运算（cv::morphologyEx）去除小噪声点，或用中值滤波（cv::medianBlur）进一步平滑视差图，提升结果稳定性。
• 校验点云计算的视差单位：
  你的GPU版本代码中，将StereoBM输出的CV_8U转成CV_16S时乘以了16，要确保视差单位正确（每个单位对应1/16像素），避免因单位错误导致深度计算偏差。

四、其他注意事项 #

• 确保左右相机硬件同步：如果左右帧存在时间差，即使场景固定也会出现匹配错误，优先使用硬件同步触发拍摄。
• 检查标定文件有效性：确认sterolast.xml中的P1、P2是立体校正后的投影矩阵，避免因矩阵错误导致点云畸变。

内容的提问来源于stack exchange，提问作者Mohand