热成像与RGB多视图图像配准：水平偏移2cm双相机图像对齐咨询

离线标定法（固定安装场景首选，精度最高） #

• 先做单目内参标定：分别对IR、RGB相机做内参和畸变校正标定，IR相机建议使用加热式标定板或表面覆红外反光膜的棋盘格标定板，保证IR图像能清晰识别角点，输出两台相机的内参矩阵、径向/切向畸变系数。
• 再做双目外参标定：将两台相机作为双目系统联合标定，输入15~20组不同位姿下同时采集的标定板图像，计算得到IR相机相对RGB相机的旋转矩阵R、平移向量T，你的场景下平移向量的水平分量标定结果会接近2cm。
• 重映射对齐：调用cv2.stereoRectify()、cv2.initUndistortRectifyMap()接口生成变换映射表，直接对IR图像做畸变校正+空间变换，即可映射到RGB相机的像素坐标系下，两者像素严格一一对应，重投影误差可控制在1像素以内。

无标定在线对齐法（临时使用场景可选，实现简单） #

• 特征匹配单应变换：优先选用ORB、KAZE这类跨模态鲁棒的特征算子，提取两张图像的共同特征点做匹配，剔除误匹配后计算单应性矩阵H，对IR图像做单应透视变换即可对齐。

该方法仅适合场景内有足够可识别共同纹理的情况，无纹理、弱纹理场景精度会明显下降。

• 相位相关平移校正：如果确认两台相机仅存在水平平移、无相对旋转且拍摄目标为平面场景，可直接调用cv2.phaseCorrelate()计算两张图像的亚像素级水平偏移量，对IR图像做对应平移即可完成对齐，实现逻辑最简单。

精度验证方法 #

对齐完成后可将两张图像按半透明叠加，查看物体边缘是否完全重合，也可使用标定板角点计算重投影误差，误差小于1像素即可满足后续图像融合需求。

内容的提问来源于stack exchange，提问作者Rohan Sada