如何用Python OpenCV的cv2.estimateAffine2D()实现基于RANSAC的仿射图像拼接

整体逻辑说明 #

你已经完成相邻图像对的特征点匹配，且选定第4张为参考图，核心是通过相邻仿射矩阵链式推导得到所有图像到参考图的全局变换，再对齐拼接，具体流程如下：

• 先计算每对相邻图像的仿射变换矩阵（X→Y的变换，即X上的点乘矩阵得到Y上的对应点）
• 将2x3的仿射矩阵补为3x3齐次矩阵，通过矩阵乘法/求逆推导所有图像到第4张的全局仿射矩阵
• 计算所有图像变换后的坐标范围，确定全景画布尺寸
• 逐图变换到画布，重叠区域做像素融合得到全景图

分步代码实现 #

前置依赖 #

import cv2
import numpy as np
# 假设你已经有以下输入：
# imgs: 长度为6的列表，存储6张cv2读取的图像，顺序为img1,img2,img3,img4,img5,img6
# adj_matches: 长度为5的列表，每个元素为(src_pts, dst_pts)，对应1-2、2-3、3-4、4-5、5-6的匹配点
# 每个src_pts是N*2的numpy数组，存储前一张图的匹配点坐标，dst_pts对应后一张图的匹配点坐标

步骤1：计算相邻图像对的仿射矩阵 #

adj_H = [] # 存储相邻变换矩阵 H[i] 是第i+1张到第i+2张的仿射矩阵（2x3）
for (src_pts, dst_pts) in adj_matches:
    # ransacReprojThreshold为重投影误差阈值，一般设1-5像素
    H, mask = cv2.estimateAffine2D(src_pts, dst_pts, ransacReprojThreshold=3.0)
    adj_H.append(H)

步骤2：推导所有图像到参考图（第4张，索引为3）的全局仿射矩阵 #

def affine_to_homography(H):
    # 2x3仿射矩阵转3x3齐次矩阵
    return np.vstack([H, np.array([[0, 0, 1]])])
def homography_to_affine(H):
    # 3x3齐次矩阵转回2x3仿射矩阵
    return H[:2, :]
# 初始化全局矩阵列表，global_H[i]是第i+1张图到第4张的仿射矩阵
global_H = [None]*6
# 参考图自己的变换是单位矩阵
global_H[3] = np.array([[1,0,0],[0,1,0]], dtype=np.float32)
# 推导1、2、3张的全局矩阵（左边的图）
# H3_4: 第3张到第4张的矩阵 = adj_H[2]
h3_4 = affine_to_homography(adj_H[2])
global_H[2] = adj_H[2]
# H2_4 = H3_4 @ H2_3（adj_H[1]是2到3的矩阵）
h2_3 = affine_to_homography(adj_H[1])
h2_4 = h3_4 @ h2_3
global_H[1] = homography_to_affine(h2_4)
# H1_4 = H2_4 @ H1_2
h1_2 = affine_to_homography(adj_H[0])
h1_4 = h2_4 @ h1_2
global_H[0] = homography_to_affine(h1_4)
# 推导5、6张的全局矩阵（右边的图）
# H4_5是第4到5的矩阵=adj_H[3]，所以第5到4的矩阵是H4_5的逆
h4_5 = affine_to_homography(adj_H[3])
h5_4 = np.linalg.inv(h4_5)
global_H[4] = homography_to_affine(h5_4)
# H6_4 = H5_4 @ 逆(H5_6)，adj_H[4]是5到6的矩阵
h5_6 = affine_to_homography(adj_H[4])
h6_5 = np.linalg.inv(h5_6)
h6_4 = h5_4 @ h6_5
global_H[5] = homography_to_affine(h6_4)

步骤3：计算全景画布尺寸与偏移量 #

min_x, min_y = float('inf'), float('inf')
max_x, max_y = -float('inf'), -float('inf')
for i in range(6):
    h, w = imgs[i].shape[:2]
    # 原图四个角坐标
    corners = np.array([[0,0], [w,0], [w,h], [0,h]], dtype=np.float32).reshape(-1,1,2)
    # 变换到参考平面的坐标
    trans_corners = cv2.transform(corners, global_H[i]).reshape(-1,2)
    # 更新坐标范围
    min_x = min(min_x, trans_corners[:,0].min())
    max_x = max(max_x, trans_corners[:,0].max())
    min_y = min(min_y, trans_corners[:,1].min())
    max_y = max(max_y, trans_corners[:,1].max())
# 计算画布尺寸
offset_x = -int(np.floor(min_x))
offset_y = -int(np.floor(min_y))
pan_w = int(np.ceil(max_x - min_x))
pan_h = int(np.ceil(max_y - min_y))
# 给所有全局矩阵加偏移量，把坐标平移到正范围
for i in range(6):
    global_H[i][0,2] += offset_x
    global_H[i][1,2] += offset_y

步骤4：图像拼接融合 #

这里用简单的加权融合实现，可有效消除明显拼接缝：

# 初始化全景图和权重掩码
panorama = np.zeros((pan_h, pan_w, 3), dtype=np.float32)
weight_mask = np.zeros((pan_h, pan_w, 3), dtype=np.float32)
for i in range(6):
    h, w = imgs[i].shape[:2]
    # 把当前图像变换到画布
    warped_img = cv2.warpAffine(imgs[i].astype(np.float32), global_H[i], (pan_w, pan_h))
    # 生成当前图像的权重：离中心越远权重越低，过渡更自然
    weight = np.zeros((h, w, 3), dtype=np.float32)
    cv2.circle(weight, (w//2, h//2), min(w//2, h//2), (1,1,1), -1)
    weight = cv2.GaussianBlur(weight, (51,51), 0)
    warped_weight = cv2.warpAffine(weight, global_H[i], (pan_w, pan_h))
    # 累加像素和权重
    panorama += warped_img * warped_weight
    weight_mask += warped_weight
# 归一化得到最终全景图
weight_mask[weight_mask == 0] = 1 # 避免除以0
panorama = (panorama / weight_mask).astype(np.uint8)

注意事项 #

• 仿射变换仅支持刚性+缩放/剪切变换，若拍摄时存在明显透视畸变，可将cv2.estimateAffine2D替换为cv2.findHomography计算单应矩阵，配合cv2.warpPerspective做变换，逻辑完全一致
• 若拼接后存在明显错位，可先检查相邻特征点匹配质量，再调整RANSAC重投影误差阈值，匹配点质量差可适当调大阈值
• 图像数量更多时链式变换会有累积误差，可加入全局光束法平差优化所有变换矩阵，进一步提升拼接精度

内容的提问来源于stack exchange，提问作者Jonas Zerbib