Python实现不同分辨率、特征反色的图像配准方法

待配准图像及参考图像如下：

• 待对齐左图（尺寸350×350，四角方形特征为高亮）：
• 参考对齐右图（尺寸512×512，四角方形特征为0值暗区）：

核心难点 #

• 特征明暗反转：作为匹配依据的四角方形，在左图为高亮度值，在右图为低亮度值（像素值为0）
• 分辨率不匹配：左图分辨率350×350，右图分辨率512×512
• 现有ECC配准代码运行报错：

error: OpenCV(3.4.15) ... error: (-210:Unsupported format or combination of formats) Images must have 8uC1 or 32fC1 type in function 'cv::findTransformECC'

原有ECC实现代码如下：

im_left = stackoverflow_help_left_img.copy()
im_right = stackoverflow_help_right_img.copy()

sz = im_left.shape

# Define the motion model
#warp_mode = cv2.MOTION_TRANSLATION
warp_mode = cv2.MOTION_HOMOGRAPHY

# Define 2x3 or 3x3 matrices and initialize the matrix to identity
if warp_mode == cv2.MOTION_HOMOGRAPHY :
    warp_matrix = np.eye(3, 3, dtype=np.float32)
else :
    warp_matrix = np.eye(2, 3, dtype=np.float32)

# Specify the number of iterations.
number_of_iterations = 5000;

# Specify the threshold of the increment
# in the correlation coefficient between two iterations
termination_eps = 1e-10;

# Define termination criteria
criteria = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, number_of_iterations,  termination_eps)

# Run the ECC algorithm. The results are stored in warp_matrix.
#(cc, warp_matrix) = cv2.findTransformECC (im1_gray,im2_gray,warp_matrix, warp_mode, criteria)
(cc, warp_matrix) = cv2.findTransformECC (im_right,im_left,warp_matrix, warp_mode, criteria, None, 1)

这个报错没有特殊逻辑，findTransformECC 对输入格式有硬限制，只支持单通道8位无符号整型（即普通8位灰度图）或单通道32位浮点型（CV_32FC1）数据。你传入的图像数组不符合要求，常见触发情况包括：传了多通道彩色图、数组是float64这类不支持的数值类型、值范围和类型不匹配。

别上来就硬套SIFT、原生ECC这类全局匹配方法，你这图四个角的方形标记清晰稳定，优先用基于控制点的单应性配准，鲁棒性比全局方法高一个量级，明暗反转、分辨率不一致的问题都能直接适配，具体步骤如下：

1. 图像预处理 #

先把两张图统一转成符合函数要求的格式，从根源解决格式报错：

import cv2
import numpy as np

def img_preprocess(img):
    # 多通道彩图先转单通道灰度
    if len(img.shape) > 2:
        img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    # 归一化到0-1范围，转32位单通道浮点
    img = cv2.normalize(img, None, 0, 1.0, cv2.NORM_MINMAX, dtype=cv2.CV_32FC1)
    return img

im_left = img_preprocess(stackoverflow_help_left_img.copy())
im_right = img_preprocess(stackoverflow_help_right_img.copy())

2. 提取匹配控制点 #

不用做复杂的全局特征检测，直接针对四角方形提对应点对就行：

• 左图处理：用高阈值做二值化，提取四个高亮方形的轮廓，算每个方形的角点或者质心坐标
• 右图处理：用低阈值做二值化，提取四个暗黑色方形的轮廓，对应算角点或者质心坐标
• 把两张图提出来的点按「左上-右上-右下-左下」的固定顺序排好，保证点对一一对应

只要4对精准对应的控制点，就能算出稳定的单应性变换矩阵，完全不受图像其他区域采集伪影的干扰。

3. 计算变换矩阵完成配准 #

用排好序的点对算单应性矩阵，直接把左图映射到右图的坐标空间，不需要提前resize统一分辨率：

# pts_left是左图提取的4个控制点，格式为(4,1,2)的numpy数组；pts_right是右图对应控制点
H, mask = cv2.findHomography(pts_left, pts_right, cv2.RANSAC, 5.0)
# 把左图变换成和右图一致的512×512尺寸，直接完成对齐
aligned_result = cv2.warpPerspective(im_left, H, (im_right.shape[1], im_right.shape[0]))

备选方案（ECC适配） #

如果要继续用ECC方法，除了按上面的步骤修正图像格式，还要先把左图反相抵消明暗反转的影响：im_left_inv = 1.0 - im_left，再传入ECC函数计算即可。注意ECC对大尺度差异、局部伪影的耐受度很低，配准效果比基于标记点的方案差不少。

内容的提问来源于stack exchange，提问作者T Walker