立体相机3D重建的理想光照条件及光照鲁棒性技术咨询

是否需要控制光照？ #

是的，光照变化会直接改变图像的灰度分布、对比度，而SGBM这类依赖局部灰度特征匹配的算法对灰度一致性要求极高——这也是不同时段点云差异大的核心原因。但不需要依赖高能耗的DC补光，通过精准的硬件控制或算法补偿就能解决。

光照变化下获得一致点云的具体方法 #

硬件优化（优先解决，成本低见效快） #

• 锁定相机自动参数：E-Con相机大概率默认开启了自动曝光、自动增益（AE/AGC），这会让不同光照下的图像亮度、对比度乱跳，直接破坏立体匹配的灰度基础。手机相机拍植物时可能自动锁定了这些参数，所以效果稳定。进入相机设置，强制固定曝光时间、ISO增益、白平衡，且左右两个相机的参数必须完全一致。
• 低成本定向补光：换掉40W的DC光源，改用5-10W的环形LED补光灯对准感兴趣区域（RoI），再给相机加装遮光罩阻挡环境杂光。补光时要保证左右相机的光照均匀，避免单侧出现阴影。
• 加装偏振片：如果手部存在明显反光（比如皮肤出油、环境光反射），在镜头前安装偏振片，旋转至合适角度过滤杂光，提升纹理一致性。

算法优化（适配光照波动） #

• 光照归一化预处理：立体匹配前先统一左右图像的光照水平：
  • 使用CLAHE自适应直方图均衡（cv2.createCLAHE()），既能统一对比度，又不会丢失细节；
  • 执行灰度归一化（cv2.normalize()），将左右图像的灰度值映射到同一区间；
  • 尝试Retinex算法，将图像拆分为光照分量和反射分量，仅使用反映真实纹理的反射分量进行匹配。
• 动态调整SGBM参数：固定参数仅适用于特定光照条件，可根据图像亮度动态调整核心参数：
  • 图像偏暗时，调大preFilterCap，强化纹理对比度；
  • 光照波动大时，降低uniquenessRatio，减少匹配误判；
  • 调大speckleWindowSize和speckleRange，过滤光照噪声带来的零散视差点。
• 更换光照鲁棒的匹配代价函数：原仓库的SGBM可能使用默认的SAD代价，替换为Census变换或AD-Census，这类代价函数对光照偏移不敏感，能大幅提升匹配稳定性。
• 视差图后处理优化：
  • 用左右一致性检查（LRC）剔除光照导致的错误匹配点；
  • 采用双边滤波或中值滤波平滑视差图，保留边缘的同时消除光照噪声。

额外排查点 #

• 检查E-Con相机镜头是否存在暗角、光照不均问题，可通过cv2.undistort()进行镜头矫正；
• 确认E-Con相机输出的是无损格式（如RAW），避免JPEG压缩导致的纹理细节丢失。

内容的提问来源于stack exchange，提问作者Ved