如何将两张图像拼接为模板效果？ORB特征匹配代码调试求助

现存问题 #

• 颜色空间转换错误：OpenCV的cv2.imread接口默认按BGR顺序读取图像，代码中使用cv2.COLOR_RGB2GRAY做灰度转换会导致灰度图数值异常，直接影响后续关键点检测和匹配精度。
• 匹配点重复过滤：代码先后两次使用完全相同的0.8距离阈值过滤匹配结果，会丢失大量合格匹配点，导致最终可用匹配点数量不足，单应性矩阵计算偏差过大。
• 单应性矩阵方向与映射逻辑错误：当前代码计算的是模板图转换到测试图坐标系的单应性矩阵，但后续却用该矩阵对测试图做变换，且变换后的输出尺寸沿用了测试图的尺寸，完全不符合「测试图对齐到模板图」的需求。
• 无单应性矩阵有效性校验：cv2.findHomography在匹配点质量不足时会返回空值，代码未做判断直接调用cv2.warpPerspective会触发运行错误。
• 统计变量拼写错误：遍历测试图生成灰度图的循环中，错误地对img_number做自增，而非定义的img_number1（虽不影响核心功能，但属于编码bug）。

优化调整建议 #

• 修正颜色空间转换逻辑：将灰度转换参数替换为cv2.COLOR_BGR2GRAY，保证灰度图数值正确。
• 移除重复的匹配点过滤逻辑：仅保留一次距离阈值过滤，可根据匹配效果适当调整阈值（通常ORB特征的阈值可在0.7~0.9之间调整）。
• 修正单应性矩阵计算与映射逻辑：若要将测试图对齐到模板图，需将测试图的关键点作为源点、模板图关键点作为目标点计算单应性矩阵，且透视变换的输出尺寸使用模板图的尺寸。
• 增加有效性校验：判断单应性矩阵非空后再执行透视变换。
• 调整特征与匹配参数：可适当调大ORB的nfeatures参数（如调整到5000）提取更多关键点，调大FLANN的checks参数（如调整到200）提升匹配精度，可给cv2.findHomography添加RANSAC阈值参数（如ransacReprojThreshold=5.0）提升单应性矩阵的鲁棒性。

修正后核心代码 #

import cv2
import numpy as np
from natsort import natsorted
import glob
from google.colab.patches import cv2_imshow

# 读取图像
im1 = [cv2.imread(file) for file in natsorted(glob.glob("/content/drive/MyDrive/fyp/test1/template1/tmp_002.png"))]
im2 = [cv2.imread(file) for file in natsorted(glob.glob("/content/drive/MyDrive/fyp/test2/query1/tmp_002 (1).png"))]

images_list=list()
img_number = 0
for item in im1:
  # 修正颜色空间转换
  img_gray= cv2.cvtColor(item, cv2.COLOR_BGR2GRAY)
  images_list.append(img_gray)
  img_number += 1
 
images_list1=list()
img_number1 = 0
for item1 in im2:
  # 修正颜色空间转换
  img_gray= cv2.cvtColor(item1, cv2.COLOR_BGR2GRAY)
  images_list1.append(img_gray)
  # 修正变量自增错误
  img_number1 += 1

i=0
for item ,item1 in zip(images_list,images_list1):
  # 调大特征点数量
  orb = cv2.ORB_create(nfeatures=5000)

  # item为模板图，item1为测试图
  keypoints_template, descriptors_template = orb.detectAndCompute(item, None)
  keypoints_test, descriptors_test = orb.detectAndCompute(item1, None)

  flann_index_lsh = 6
  index_params = dict(algorithm= flann_index_lsh,
                      table_number=12,
                      key_size=20,
                      multi_probe_level=2)
  # 调大匹配检查次数
  search_params = dict(checks=200)

  flann = cv2.FlannBasedMatcher(index_params , search_params)
  # 注意顺序：测试图描述子作为查询，模板图描述子作为训练
  flann_matches = flann.knnMatch(descriptors_test , descriptors_template , k=2)

  matches_mask = [[0,0] for i in range(len(flann_matches))]
  good_matches= []
  for index in range(len(flann_matches)):
    if len(flann_matches[index]) ==2 :
      m ,n = flann_matches[index]
      if m.distance < 0.75 * n.distance :
       matches_mask[index] = [1,0]
       good_matches.append(m)

  draw_params=dict(singlePointColor= (255,0,0), 
                  matchesMask= matches_mask,
                  flags=0)
  
  MIN_MATCHES=10 # 适当提高最小匹配点阈值，保证单应性矩阵精度
  im1Reg = None
  if len(good_matches) > MIN_MATCHES:
    # 源点为测试图关键点，目标点为模板图关键点
    src_points = np.float32([keypoints_test[m.queryIdx].pt for m in good_matches]).reshape(-1,1,2)
    dst_points = np.float32([keypoints_template[m.trainIdx].pt for m in good_matches]).reshape(-1,1,2)
    # 添加RANSAC阈值
    m, mask = cv2.findHomography(src_points, dst_points, cv2.RANSAC, 5.0)
    # 校验单应性矩阵有效性
    if m is not None:
      height ,width = item.shape # 输出尺寸与模板图一致
      im1Reg = cv2.warpPerspective(item1, m, (width, height))

  img3= cv2.drawMatchesKnn(item1, keypoints_test , item , keypoints_template, flann_matches, None , **draw_params)
  cv2_imshow(img3)
  if im1Reg is not None:
    cv2_imshow(im1Reg)
  i += 1

内容的提问来源于stack exchange，提问作者Chuan456