红外与可见光图像配准及场景一致化实现技术咨询

现有红外相机与可见光相机的详细内参及拍摄图像，但无法确定外参是否准确。红外图像分辨率为(640,480)，可见光图像分辨率为(2460,1920)，如何将可见光图像的场景转换为与红外图像一致？

红外图像：

可见光图像：

我们已尝试通过相机参数计算homography matrix对可见光图像进行变换，但效果不理想，无法实现场景完全一致。

核心原因：单应矩阵的局限性 #

homography matrix（单应矩阵）仅适用于平面场景（所有目标处于同一平面），若拍摄场景是3D结构，不同深度的物体用单应变换会出现透视畸变，无法实现全场景对齐。此外，外参不准确、未做畸变校正也会导致变换失效。

步骤1：先做图像畸变校正 #

无论内参是否已知，先对两张图像做畸变校正，消除径向/切向畸变带来的误差：

import cv2
import numpy as np

# 红外相机内参及畸变系数
K_ir = np.array([[fx_ir, 0, cx_ir], [0, fy_ir, cy_ir], [0, 0, 1]])
dist_ir = np.array([k1_ir, k2_ir, p1_ir, p2_ir, k3_ir])
# 可见光相机内参及畸变系数
K_rgb = np.array([[fx_rgb, 0, cx_rgb], [0, fy_rgb, cy_rgb], [0, 0, 1]])
dist_rgb = np.array([k1_rgb, k2_rgb, p1_rgb, p2_rgb, k3_rgb])

# 畸变校正
img_ir_undistorted = cv2.undistort(img_ir, K_ir, dist_ir)
img_rgb_undistorted = cv2.undistort(img_rgb, K_rgb, dist_rgb)

步骤2：重新获取精准外参（旋转R+平移t） #

如果现有外参不可靠，用以下两种方法重新计算：

方法A：基于特征点的PnP姿态估计（适合有重叠场景） #

• 对校正后的红外/可见光图像提取匹配特征点（推荐ORB、SIFT，红外图按灰度图处理）；
• 用RANSAC筛选有效匹配点，排除 outliers；
• 结合已知内参，通过PnP算法计算可见光相机相对红外相机的旋转矩阵R和平移向量t：

# 提取ORB特征并匹配（接上面的代码）
orb = cv2.ORB_create(500)
kp_ir, des_ir = orb.detectAndCompute(img_ir_undistorted, None)
kp_rgb, des_rgb = orb.detectAndCompute(cv2.cvtColor(img_rgb_undistorted, cv2.COLOR_BGR2GRAY), None)

matcher = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
matches = sorted(matcher.match(des_ir, des_rgb), key=lambda x: x.distance)[:100]

# 提取匹配点坐标
pts_ir = np.float32([kp_ir[m.queryIdx].pt for m in matches]).reshape(-1,1,2)
pts_rgb = np.float32([kp_rgb[m.trainIdx].pt for m in matches]).reshape(-1,1,2)

# PnP求解外参
success, rvec, tvec = cv2.solvePnP(pts_ir, pts_rgb, K_rgb, None, K_ir, None)
R, _ = cv2.Rodrigues(rvec)  # 将旋转向量转为旋转矩阵

方法B：标定板重新标定外参（精度最高） #

用棋盘格标定板同时出现在两张图像中，通过cv2.stereoCalibrate重新计算双目外参，同时可校验内参准确性，适合固定安装的相机场景。

步骤3：可见光图像投影到红外视角 #

得到精准R和t后，将可见光图像投影到红外相机的成像平面：

1. 计算投影矩阵：P_ir = K_ir @ np.hstack((R, t))（红外相机投影矩阵），P_rgb = K_rgb @ np.eye(3,4)（可见光相机投影矩阵）；
2. 对可见光图像进行重投影：若为3D场景，建议先通过双目匹配重建点云，再投影到红外视角；若为近似平面场景，也可结合外参计算等效单应后做变换；
3. 最后将投影后的图像缩放/裁剪至红外分辨率(640,480)，实现场景完全对齐。

内容的提问来源于stack exchange，提问作者Jiahaozhang