Python实现两张轻微偏移物体照片对齐裁剪以计算差分图

本方案针对同平面2D物体拍摄的两张存在轻微机位偏移的图像设计，对齐裁剪后无内容差异的图像差分结果接近全0，可稳定检出极细微的内容变化。

依赖安装 #

执行以下命令安装所需依赖：
pip install opencv-python numpy

核心实现逻辑 #

整个流程分4个核心环节，无多余计算，适配轻微偏移场景的精度要求：

• 特征点匹配估计变换关系：用ORB特征提取两张图的共同特征点，通过RANSAC算法过滤误匹配点，计算从待对齐图到基准图的透视变换矩阵，轻微偏移场景下该矩阵几乎无透视畸变，对齐精度可达亚像素级。
• 透视变换对齐：以第一张图为基准坐标系，将第二张图通过变换矩阵做透视映射，完成像素级对齐。
• 共视区域自动裁剪：生成两张图的有效区域掩码，通过掩码求交得到两张图共同覆盖的像素范围，取该范围的最小外接矩形裁剪两张对齐后的图像，彻底去掉边缘处仅单张图覆盖的独有区域。
• 差分计算：对裁剪后的两张图做逐像素绝对差，得到差分结果，可通过阈值过滤掉插值带来的极少量噪声，凸显真实的细微内容变化。

可直接运行的代码 #

import cv2
import numpy as np

def align_crop_and_diff(ref_img_path, moved_img_path, diff_save_path='diff_result.png'):
    """
    对齐两张存在轻微偏移的同场景图像，裁剪共视区域后输出差分图
    :param ref_img_path: 基准图像路径
    :param moved_img_path: 存在偏移的待对齐图像路径
    :param diff_save_path: 差分图保存路径
    :return: 裁剪后的基准图、裁剪后的对齐图、差分图
    """
    # 读取输入图像
    ref_img = cv2.imread(ref_img_path)
    moved_img = cv2.imread(moved_img_path)
    img_h, img_w = ref_img.shape[:2]

    # 提取ORB特征点与描述子
    gray_ref = cv2.cvtColor(ref_img, cv2.COLOR_BGR2GRAY)
    gray_moved = cv2.cvtColor(moved_img, cv2.COLOR_BGR2GRAY)
    orb_detector = cv2.ORB_create(nfeatures=10000)
    kp_ref, des_ref = orb_detector.detectAndCompute(gray_ref, None)
    kp_moved, des_moved = orb_detector.detectAndCompute(gray_moved, None)

    # 特征匹配+优质匹配点筛选
    bf_matcher = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
    raw_matches = bf_matcher.match(des_ref, des_moved)
    raw_matches = sorted(raw_matches, key=lambda x: x.distance)
    # 取排序后前80%的匹配点，剔除距离过大的误匹配
    good_matches = raw_matches[:int(len(raw_matches) * 0.8)]

    # 用RANSAC估计单应性变换矩阵
    ref_points = np.float32([kp_ref[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
    moved_points = np.float32([kp_moved[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)
    H_matrix, _ = cv2.findHomography(moved_points, ref_points, cv2.RANSAC, ransacReprojThreshold=5.0)

    # 将待对齐图像映射到基准图坐标系
    moved_aligned = cv2.warpPerspective(moved_img, H_matrix, (img_w, img_h))

    # 计算共视有效区域
    mask_ref = np.ones((img_h, img_w), dtype=np.uint8) * 255
    mask_moved = cv2.warpPerspective(np.ones((img_h, img_w), dtype=np.uint8)*255, H_matrix, (img_w, img_h))
    common_mask = cv2.bitwise_and(mask_ref, mask_moved)
    # 提取共视区域的最小外接矩形坐标
    contours, _ = cv2.findContours(common_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    crop_x, crop_y, crop_w, crop_h = cv2.boundingRect(contours[0])

    # 裁剪到共视区域
    ref_cropped = ref_img[crop_y:crop_y+crop_h, crop_x:crop_x+crop_w]
    moved_cropped = moved_aligned[crop_y:crop_y+crop_h, crop_x:crop_x+crop_w]

    # 计算差分图（灰度空间做绝对差）
    diff_img = cv2.absdiff(
        cv2.cvtColor(ref_cropped, cv2.COLOR_BGR2GRAY),
        cv2.cvtColor(moved_cropped, cv2.COLOR_BGR2GRAY)
    )
    # 可选：阈值过滤插值带来的亚像素噪声，阈值可根据实际噪声水平调整
    _, diff_binary = cv2.threshold(diff_img, 8, 255, cv2.THRESH_BINARY)

    cv2.imwrite(diff_save_path, diff_img)
    return ref_cropped, moved_cropped, diff_img

if __name__ == "__main__":
    # 替换为自己的图像路径即可运行
    align_crop_and_diff("image1.jpg", "image2.jpg")

调优提示 #

• 若图像偏移量极小、特征点匹配效果不佳，可将ORB替换为SIFT特征（需安装opencv-contrib-python包），对弱纹理场景的匹配精度更高。
• 若两次拍摄存在细微光照差异，可在计算差分前对两张裁剪后的图像做直方图匹配，消除光照差带来的差分噪声。
• 无真实内容差异时，差分图的非零值均来自图像重采样的插值误差，数值普遍在5以下，设置合理的差分阈值即可完全过滤，不会漏检极细微的真实内容变化。

内容的提问来源于stack exchange，提问作者Roee