cv2.matchTemplate匹配失败，如何优化模板匹配结果？

问题描述 #

我需要在目标图像中定位模板图像的位置。
模板图像：

目标图像：

运行下方代码后得到不理想的匹配结果：

请问如何改进匹配效果？

原代码 #

import cv2
import numpy as np
from imutils.object_detection import non_max_suppression
import matplotlib.pyplot as plt
template = cv2.imread("euro.jpg", cv2.IMREAD_COLOR)
template = cv2.resize(template,(99,99))
img = cv2.imread("euro_2024.jpg", cv2.IMREAD_COLOR)
img2 = img.copy()
# image =cv2.resize(image,(700,700))
h,w =template.shape[:2]

# 用于对比的6种匹配方法
methods = ['cv2.TM_CCOEFF', 'cv2.TM_CCOEFF_NORMED', 'cv2.TM_CCORR',
            'cv2.TM_CCORR_NORMED', 'cv2.TM_SQDIFF', 'cv2.TM_SQDIFF_NORMED']

for meth in methods:
    img = img2.copy()
    method = eval(meth)

    # 执行模板匹配
    res = cv2.matchTemplate(img,template,method)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)

    # 根据匹配方法选择最佳位置
    if method in [cv2.TM_SQDIFF, cv2.TM_SQDIFF_NORMED]:
        top_left = min_loc
    else:
        top_left = max_loc
    bottom_right = (top_left[0] + w, top_left[1] + h)

    cv2.rectangle(img,top_left, bottom_right, 255, 2)

    plt.subplot(121),plt.imshow(res,cmap = 'gray')
    plt.title('匹配结果'), plt.xticks([]), plt.yticks([])
    plt.subplot(122),plt.imshow(img,cmap = 'gray')
    plt.title('检测位置'), plt.xticks([]), plt.yticks([])
    plt.suptitle(meth)

    plt.show()

问题根源 #

原代码仅提取单个最佳匹配位置，但目标图中存在多个相似模板，且模板与目标中的图案存在尺寸差异、角度轻微偏移，普通单尺寸模板匹配无法覆盖这些场景，导致漏检或误检。

改进方案 #

1. 多尺度模板匹配（核心改进） #

遍历不同缩放比例的模板，匹配目标图解决尺寸不一致问题，同时结合非极大值抑制去除重复匹配框：

import cv2
import numpy as np
from imutils.object_detection import non_max_suppression
import matplotlib.pyplot as plt

# 读取图像
template = cv2.imread("euro.jpg", cv2.IMREAD_COLOR)
img = cv2.imread("euro_2024.jpg", cv2.IMREAD_COLOR)
img_copy = img.copy()
h, w = template.shape[:2]

# 定义缩放范围（可根据目标尺寸调整）
scale_values = np.linspace(0.4, 1.0, 13)
match_threshold = 0.8  # 匹配阈值，需根据实际情况微调
match_method = cv2.TM_CCOEFF_NORMED  # 优先选择归一化匹配方法

all_boxes = []

for scale in scale_values:
    # 缩放模板
    resized_temp = cv2.resize(template, (int(w * scale), int(h * scale)))
    temp_h, temp_w = resized_temp.shape[:2]
    # 跳过超过目标图像尺寸的模板
    if temp_h > img.shape[0] or temp_w > img.shape[1]:
        continue
    # 执行模板匹配
    result = cv2.matchTemplate(img, resized_temp, match_method)
    # 提取所有超过阈值的匹配位置
    locations = np.where(result >= match_threshold)
    # 整理为矩形框坐标
    for (x, y) in zip(*locations[::-1]):
        all_boxes.append([x, y, x + temp_w, y + temp_h])

# 非极大值抑制去重
all_boxes = np.array(all_boxes)
final_boxes = non_max_suppression(all_boxes, overlapThresh=0.3)

# 绘制匹配结果
for (x1, y1, x2, y2) in final_boxes:
    cv2.rectangle(img_copy, (x1, y1), (x2, y2), (0, 255, 0), 2)

# 显示结果（转换颜色空间适配matplotlib）
plt.imshow(cv2.cvtColor(img_copy, cv2.COLOR_BGR2RGB))
plt.title('改进后的匹配结果')
plt.xticks([]), plt.yticks([])
plt.show()

2. 图像预处理优化 #

• 转为灰度图：减少颜色干扰，提升匹配效率与稳定性

template_gray = cv2.cvtColor(template, cv2.COLOR_BGR2GRAY)
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

• 边缘检测：提取轮廓特征，忽略颜色、亮度差异，适合复杂背景下的匹配

template_edge = cv2.Canny(template_gray, 50, 200)
img_edge = cv2.Canny(img_gray, 50, 200)

将边缘图作为输入进行模板匹配，能有效应对颜色变化的场景。

3. 选择最优匹配方法 #

优先使用归一化类方法：cv2.TM_CCOEFF_NORMED 或 cv2.TM_CCORR_NORMED，这类方法对亮度、对比度变化的鲁棒性更强，避免因整体光照差异导致匹配失效。

4. 处理旋转情况（可选） #

若目标中存在旋转的模板，可以遍历不同旋转角度（如-30°至30°，步长5°），对模板进行旋转后再匹配，代码示例如下（需结合多尺度使用）：

def rotate_image(image, angle):
    (h, w) = image.shape[:2]
    center = (w // 2, h // 2)
    M = cv2.getRotationMatrix2D(center, angle, 1.0)
    rotated = cv2.warpAffine(image, M, (w, h), flags=cv2.INTER_CUBIC, borderMode=cv2.BORDER_REPLICATE)
    return rotated

# 在多尺度循环内添加旋转遍历
for angle in range(-30, 31, 5):
    rotated_temp = rotate_image(resized_temp, angle)
    # 后续匹配逻辑同多尺度代码

内容的提问来源于stack exchange，提问作者AI ML