OpenCV图像对齐失败：为何输出结果异常？

问题描述 #

尝试将旋转后的汽车图像对齐至原始图像，使用OpenCV的ORB特征检测、暴力匹配结合RANSAC求解单应性矩阵，再通过warpPerspective执行透视变换，但输出结果严重异常，无法实现预期对齐效果。

错误原因分析 #

1. 特征点索引匹配错误：
   在提取匹配点对时，points2的赋值误用了match.queryIdx，这是核心错误。match.queryIdx对应**查询图像（原始图）的特征点索引，而match.trainIdx才是训练图像（旋转图）**的特征点索引。点对对应关系完全搞反，导致单应性矩阵计算错误，最终变换结果异常。

2. 有效匹配点数量不足：
   仅保留前10%的匹配点，可能导致用于求解单应性矩阵的有效特征点过少，矩阵求解稳定性差，进一步加剧对齐失败的概率。

修正后的代码 #

import cv2
import numpy as np
from matplotlib import pyplot as plt

original_img = r"C:\car.png"
rotated_img = r"C:\car_rotated.png"

# 读取并转换图像色彩空间
img_original = cv2.imread(original_img, cv2.IMREAD_COLOR)
img_original = cv2.cvtColor(img_original, cv2.COLOR_BGR2RGB)

img_rotated = cv2.imread(rotated_img, cv2.IMREAD_COLOR)
img_rotated = cv2.cvtColor(img_rotated, cv2.COLOR_BGR2RGB)

# 转为灰度图
img_original_gray = cv2.cvtColor(img_original, cv2.COLOR_RGB2GRAY)
img_rotated_gray = cv2.cvtColor(img_rotated, cv2.COLOR_RGB2GRAY)

# ORB特征检测
MAX_NUM_FEATURES = 500
orb = cv2.ORB_create(MAX_NUM_FEATURES)
keypoints1, descriptors1 = orb.detectAndCompute(img_original_gray, None)
keypoints2, descriptors2 = orb.detectAndCompute(img_rotated_gray, None)

# 暴力匹配
matcher = cv2.DescriptorMatcher_create(cv2.DescriptorMatcher_BRUTEFORCE_HAMMING)
matches = matcher.match(descriptors1, descriptors2, None)

# 按匹配距离排序，保留更优匹配
matches = sorted(matches, key=lambda x: x.distance)
# 调整保留比例为20%，保证足够的有效特征点
numGoodMatches = int(len(matches)*0.2)
matches = matches[:numGoodMatches]

# 提取正确的匹配点对
points1 = np.zeros((len(matches), 2), dtype=np.float32)
points2 = np.zeros((len(matches), 2), dtype=np.float32)

for i, match in enumerate(matches):
    points1[i, :] = keypoints1[match.queryIdx].pt  # 原始图的特征点
    points2[i, :] = keypoints2[match.trainIdx].pt  # 旋转图的特征点（修正索引错误）

# 求解单应性矩阵
h, mask = cv2.findHomography(points2, points1, cv2.RANSAC)

# 执行透视变换并显示结果
height, width, channels = img_original.shape
im2_reg = cv2.warpPerspective(img_rotated, h, (width, height))

# 可视化结果
plt.figure(figsize=(15, 5))
plt.subplot(131), plt.imshow(img_original), plt.title('原始图像')
plt.subplot(132), plt.imshow(img_rotated), plt.title('旋转图像')
plt.subplot(133), plt.imshow(im2_reg), plt.title('对齐后图像')
plt.show()

内容的提问来源于stack exchange，提问作者mirArnold