为何scipy.signal.correlate2d在图像模板匹配中出现多峰值？

嗨，我来帮你排查下为什么会出现多个最大相关值的情况，以及怎么解决这个问题～

可能的原因分析 #

• 模板特征不够独特：如果你的模板是大面积的纯色区域（比如全白的255区域），那原图里任何和这块区域颜色一致的地方，计算互相关时都会得到很高的乘积和，甚至达到最大值。毕竟互相关本质是对应像素的乘积累加，纯色区域的匹配门槛太低了。
• 边界处理方式的影响：你用了boundary='symm'，这种方式会在图像边缘镜像复制像素，相当于给原图“扩展”了一块镜像区域，这可能导致边缘附近出现额外的高匹配点——因为镜像出来的区域刚好和模板对上了。
• 未做归一化处理：普通的互相关对图像的亮度变化很敏感，而且没有消除绝对亮度的影响，容易出现多个区域的乘积和同时达到最大值的情况。

对应的解决办法 #

1. 换用更有特征的模板或预处理图像 #

如果模板是纯色无特征的，建议裁剪原图里有独特形状/纹理的区域作为模板。或者先对图像做边缘提取（比如用Sobel算子），再进行匹配：

from matplotlib import pyplot as plt
from PIL import Image
import scipy.signal as sp
import numpy as np
from skimage import filters

# 读取并预处理图像
img = Image.open('test.png').convert('L')
img = np.asarray(img)
img_edge = filters.sobel(img)  # 提取边缘

temp = Image.open('test_temp.png').convert('L')
temp = np.asarray(temp)
temp_edge = filters.sobel(temp)  # 模板也提取边缘

# 用边缘图做互相关
corr = sp.correlate2d(img_edge, temp_edge, boundary='fill', mode='valid')
plt.imshow(corr, cmap='hot')
plt.colorbar()

# 找最大值点
max_val = np.max(corr)
coordin = np.where(corr == max_val)
listOfCoordinates = list(zip(coordin[1], coordin[0]))
for coord in listOfCoordinates:
    plt.plot(coord[0], coord[1], 'c*', markersize=5)
plt.show()

2. 调整边界和匹配模式 #

把boundary='symm'改成boundary='fill'（填充0），同时用mode='valid'——这个模式只计算模板完全在原图内部的区域，避免边缘的无效匹配：

corr = sp.correlate2d(img, temp, boundary='fill', mode='valid')

3. 使用归一化互相关（推荐） #

普通互相关的局限性可以用归一化互相关解决，它会把相关值归一化到[-1,1]，能有效区分真正的匹配点和伪匹配点。可以用skimage.feature.match_template，这是专门做模板匹配的工具：

from matplotlib import pyplot as plt
from PIL import Image
import numpy as np
from skimage.feature import match_template

img = Image.open('test.png').convert('L')
img = np.asarray(img)
temp = Image.open('test_temp.png').convert('L')
temp = np.asarray(temp)

# 归一化互相关
result = match_template(img, temp)
plt.imshow(result, cmap='hot')
plt.colorbar()

# 找到最佳匹配点
ij = np.unravel_index(np.argmax(result), result.shape)
x, y = ij[::-1]
plt.plot(x, y, 'c*', markersize=5)
plt.show()

这个方法几乎不会出现多个最大值点，因为它考虑了局部区域的亮度均值和方差，匹配结果更准确。

内容的提问来源于stack exchange，提问作者Lasse Leth