使用OpenCV的ORB与BFMatcher进行图像融合时匹配点错位问题

我正在开展基于OpenCV的RGB与LWIR图像融合项目，目标是通过特征检测与匹配找到成对图像的tie points（匹配连接点）。但在Google Colab中运行代码时，ORB检测器与BFMatcher识别出的tie points无法正确对齐图像。

我已遵循特征检测与匹配的标准流程，确认图像加载正常且能检测到关键点与描述符，但错误的tie points导致图像配准精度不足。

我的代码 #

import cv2
import numpy as np

def find_tie_points(img1, img2):
    detector = cv2.ORB_create()
    keypoints1, descriptors1 = detector.detectAndCompute(img1, None)
    keypoints2, descriptors2 = detector.detectAndCompute(img2, None)
    matcher = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
    matches = matcher.match(descriptors1, descriptors2)
    matches = sorted(matches, key=lambda x: x.distance)
    num_matches = min(len(matches), 5)
    top_matches = matches[:num_matches]
    imMatches = cv2.drawMatches(img1, keypoints1, img2, keypoints2, top_matches, None)
    cv2.imwrite("matches_top.jpg", imMatches)
    imMatches = cv2.drawMatches(img1, keypoints1, img2, keypoints2, matches, None)
    cv2.imwrite("matches_all.jpg", imMatches)
    tie_points = [(keypoints1[match.queryIdx].pt, keypoints2[match.trainIdx].pt) for match in top_matches]
    return tie_points

img1 = cv2.imread('RGB_mine.png', cv2.IMREAD_GRAYSCALE)
img2 = cv2.imread('lwir_mine.png', cv2.IMREAD_GRAYSCALE)
tie_points = find_tie_points(img1, img2)
for i, (pt1, pt2) in enumerate(tie_points):
    print(f"Tie Point {i+1}: Image 1 - {pt1}, Image 2 - {pt2}")

运行后得到的tie points #

Tie Point 1: Image 1 - (480.1463623046875, 447.8977355957031), Image 2 - (261.2736511230469, 276.2035827636719)
Tie Point 2: Image 1 - (694.241455078125, 654.4283447265625), Image 2 - (193.20001220703125, 691.2000122070312)
Tie Point 3: Image 1 - (997.3189086914062, 561.3651123046875), Image 2 - (644.0, 450.0)
Tie Point 4: Image 1 - (193.0, 370.0), Image 2 - (676.0, 834.0)
Tie Point 5: Image 1 - (191.80801391601562, 371.5200500488281), Image 2 - (650.0, 876.0)

相关图像说明 #

• RGB图像：户外场景，包含树木、建筑物、车辆等可见光下的实体
• LWIR图像：对应同一场景的红外热成像，以热分布特征为主，与可见光图像的视觉差异极大
• 全部匹配结果图像：显示大量错误匹配的连线，匹配点在两幅图像中无对应实体关联
• Top匹配结果图像：仅保留距离最小的前5个匹配，但这些匹配依然是错误的，无法对齐对应实体

已尝试的解决方法 #

• 调整Top匹配的选取数量
• 将特征检测器从ORB更换为SIFT等其他方法
• 调整ORB检测器的参数（如关键点数量、尺度因子等）

恳请指点tie points无法正确对齐的原因，以及提升匹配精度的方法，也欢迎提供预处理步骤或特征检测器、匹配器的参数调整建议。

内容的提问来源于stack exchange，提问作者Jim Gallagher