如何获取cv2.Stitcher.stitch()自动估算的仿射变换参数？

Python的cv2.Stitcher.stitch()高级接口确实只返回拼接结果和状态，但你可以通过拆解拼接流程，调用OpenCV提供的低级API来获取变换参数，无需重写整个Stitcher模块。

核心思路 #

cv2.Stitcher的高级接口是将特征检测匹配、变换参数估计、图像融合三步打包成了stitch()方法。我们可以手动拆分这三个步骤，在参数估计阶段拿到所需的仿射变换矩阵。

具体实现步骤 #

1. 初始化Stitcher实例：显微镜图像属于平面拼接，推荐使用cv2.Stitcher_SCANS模式（全景拼接用cv2.Stitcher_PANORAMA）。
2. 调用estimateTransform()获取变换参数：这个方法会返回特征匹配结果和相机参数，其中相机参数包含每张图像对应的变换矩阵。
3. 解析相机参数得到仿射矩阵：相机的旋转矩阵R和平移向量t可以组合成2x3的仿射变换矩阵（适配平面图像的齐次坐标变换）。
4. 执行图像融合生成拼接图：用composePanorama()完成最终拼接。

代码示例 #

import cv2
import numpy as np

# 加载待拼接的显微镜图像列表
imgs = [cv2.imread(f"micro_img_{i}.png") for i in range(4)]

# 创建Stitcher实例，选择SCANS模式适配平面拼接
stitcher = cv2.Stitcher.create(cv2.Stitcher_SCANS)

# 第一步：估计图像间的变换参数
status, features = stitcher.estimateTransform(imgs)
if status != cv2.Stitcher_OK:
    print(f"变换参数估计失败，状态码：{status}")
    exit()

# 遍历每张图像，提取对应的仿射变换矩阵
for img_idx, camera in enumerate(features.cameras):
    # 相机参数包含3x3旋转矩阵R和3x1平移向量t（齐次坐标）
    rotation_mat = camera.R
    translation_vec = camera.t
    
    # 转换为2x3的仿射变换矩阵（平面图像无需考虑Z轴）
    affine_mat = np.array([
        [rotation_mat[0][0], rotation_mat[0][1], translation_vec[0]],
        [rotation_mat[1][0], rotation_mat[1][1], translation_vec[1]]
    ], dtype=np.float32)
    
    print(f"===== 图像{img_idx}的仿射变换矩阵 =====")
    print(affine_mat)

# 第二步：生成拼接后的全景图
status, stitched_img = stitcher.composePanorama(imgs)
if status == cv2.Stitcher_OK:
    cv2.imwrite("stitched_micro.png", stitched_img)
else:
    print(f"图像拼接失败，状态码：{status}")

关键说明 #

• 参考图像：features.cameras[0]对应的是参考图像，它的变换矩阵是单位矩阵（所有其他图像的变换都以它为基准）。
• 坐标映射：你可以用提取到的仿射矩阵，将已知的图像物理坐标点转换为拼接后全景图中的坐标，实现物理位置追踪。
• 版本兼容：OpenCV 3.x中初始化Stitcher的方法是cv2.Stitcher_create()，4.x版本改为cv2.Stitcher.create()，注意根据你的版本调整。

内容的提问来源于stack exchange，提问作者Jan M.