如何基于对向双相机估计旋转与平移以实现图像叠加？

核心逻辑 #

你不需要完整的相机标定流程，仅靠单张棋盘格靶标的对应角点，就能计算出两幅图像之间的平面变换矩阵，进而把其中一张图像变换到另一张的坐标系下，实现叠加对齐。因为两台相机镜头不同，优先用能适配透视变形的单应性矩阵；如果只需要纯旋转+平移（不含缩放/透视），也可以用相似变换矩阵。

具体实现步骤 #

1. 导入依赖库 #

import cv2
import numpy as np

2. 读取并预处理图像 #

# 替换为你的图像路径
img_src = cv2.imread('camera_b_image.png')  # 需要对齐的目标图像（相机B）
img_dst = cv2.imread('camera_a_image.png')  # 基准图像（相机A）

# 转为灰度图用于角点检测
gray_src = cv2.cvtColor(img_src, cv2.COLOR_BGR2GRAY)
gray_dst = cv2.cvtColor(img_dst, cv2.COLOR_BGR2GRAY)

3. 检测棋盘格角点 #

先确定你的棋盘格内角点数量（比如常见的8×6棋盘格，就是(8,6)）：

chessboard_dims = (8, 6)  # 按实际棋盘格调整
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)

# 检测角点并做亚像素细化
ret_dst, corners_dst = cv2.findChessboardCorners(gray_dst, chessboard_dims, None)
ret_src, corners_src = cv2.findChessboardCorners(gray_src, chessboard_dims, None)

if ret_dst and ret_src:
    corners_dst = cv2.cornerSubPix(gray_dst, corners_dst, (11,11), (-1,-1), criteria)
    corners_src = cv2.cornerSubPix(gray_src, corners_src, (11,11), (-1,-1), criteria)

4. 计算变换矩阵 #

选项1：单应性矩阵（推荐，适配镜头透视差异）

# 计算从相机B图像到相机A图像的单应性矩阵
homography_mat, _ = cv2.findHomography(corners_src, corners_dst, cv2.RANSAC, 5.0)

选项2：相似变换矩阵（仅旋转、平移、缩放）

如果不需要处理透视变形，只做刚性相关变换：

# 计算相似变换矩阵（2×3）
similarity_mat, _ = cv2.estimateAffinePartial2D(corners_src, corners_dst)

5. 执行图像对齐 #

h, w = img_dst.shape[:2]

# 用单应性矩阵变换
aligned_img = cv2.warpPerspective(img_src, homography_mat, (w, h))

# 若用相似变换矩阵，替换为：
# aligned_img = cv2.warpAffine(img_src, similarity_mat, (w, h))

6. 叠加对比 #

用加权叠加查看对齐效果：

overlay = cv2.addWeighted(img_dst, 0.5, aligned_img, 0.5, 0)
cv2.imshow('Aligned Overlay', overlay)
cv2.waitKey(0)
cv2.destroyAllWindows()

注意事项 #

• 确保棋盘格在两张图像中都清晰完整，角点无遮挡，否则会影响变换矩阵精度
• 如果角点检测失败，可以先对图像做阈值化或高斯模糊预处理
• 单张棋盘格足够完成平面配准，不需要多姿态采集，完全符合你的需求

内容的提问来源于stack exchange，提问作者vashista