Python中通过两张图像卷积获取目标字母bounding box的问题问询

问题根因 #

你当前方案无法得到有效匹配峰值主要有4个原因：

• 使用的scipy.signal.convolve2d普通卷积操作会默认翻转卷积核180度，并不适用于模板匹配场景，模板匹配需要的是无核翻转的互相关计算
• 仅对输入大图做了二值化、形态学处理，样本模板没有做相同的预处理，两者的数值分布、边缘特征不一致，无法产生有效匹配响应
• 未做归一化的卷积计算会受图像局部灰度波动、噪声影响，真实匹配位置的响应会被随机高值覆盖
• 原代码存在语法错误，输入图像读取的路径参数多写了多余的f和引号，会导致路径读取异常

解决方案 #

核心调整逻辑 #

1. 统一预处理逻辑：样本模板和输入大图执行完全相同的二值化、腐蚀膨胀操作，保证特征分布一致
2. 替换卷积逻辑：改用专门用于模板匹配的归一化互相关计算，OpenCV自带的cv2.matchTemplate接口直接支持该能力，无需手动实现卷积，抗干扰性远高于普通未归一化卷积
3. 峰值提取：匹配完成后筛选高于设定阈值的响应峰值，每个峰值对应目标的左上角坐标，叠加样本模板的宽高即可得到完整bounding box

修正后代码示例 #

import cv2
import numpy as np

# 读取样本并做和输入图完全一致的预处理
sample = cv2.imread('<sample_path>', 0)
_, sample = cv2.threshold(sample, 50, 255, cv2.THRESH_BINARY)
kernel1 = cv2.getStructuringElement(cv2.MORPH_RECT, (7, 7))
kernel2 = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))
sample = cv2.erode(sample, kernel=kernel1)
sample = cv2.dilate(sample, kernel=kernel2)
h, w = sample.shape[:2]

# 读取输入大图并做预处理
in_image = cv2.imread('<image_path>', 0)
_, in_image = cv2.threshold(in_image, 50, 255, cv2.THRESH_BINARY)
in_image = cv2.erode(in_image, kernel=kernel1)
in_image = cv2.dilate(in_image, kernel=kernel2)

# 归一化互相关模板匹配
res = cv2.matchTemplate(in_image, sample, cv2.TM_CCOEFF_NORMED)
# 匹配阈值可根据实际效果调整，0.8为常用初始值
threshold = 0.8
loc = np.where(res >= threshold)

# 提取所有匹配的bounding box
bbox_list = []
for pt in zip(*loc[::-1]):
    # bbox格式：(左上角x, 左上角y, 右下角x, 右下角y)
    bbox = (pt[0], pt[1], pt[0] + w, pt[1] + h)
    bbox_list.append(bbox)

额外优化提示 #

• 若出现同一目标被重复检测出多个重叠框的情况，可添加非极大值抑制（NMS）逻辑过滤重叠结果
• 如需处理5张不同的样本模板，循环对每个样本执行上述匹配逻辑，汇总所有bbox结果即可

内容的提问来源于stack exchange，提问作者Lorenzo Epifani