使用PyAutoGui与OpenCV图像匹配时置信度低匹配失败

核心现象 #

通过sys.argv传入参考图像路径时，pyautogui.locateOnScreen()和cv2.matchTemplate()均返回约0.2的极低置信度，无法匹配到屏幕上明确存在的元素；但硬编码路径时功能完全正常，且已确认路径正确、图片可正常加载、参考图与对应屏幕区域像素完全一致。

解决方案 #

1. 标准化路径处理 #

Windows命令行传入的路径可能存在隐式转义问题，即使打印显示一致，内部处理仍可能出错。接收路径后做标准化处理：

import os
# 标准化路径格式
reference_image = os.path.normpath(sys.argv[2])
# 或统一转换为正斜杠
reference_image = sys.argv[2].replace('\\', '/')

同时，命令行传入路径时用双引号包裹，避免特殊字符或空格导致路径拆分：

python OCR.py "GPIOOutput" "C:\PFE\Test_Automation\CubeMX\PA6_reference.png"

2. 调整匹配参数提升鲁棒性 #

默认匹配算法对像素细微差异敏感，显式指定算法并调整参数：

# 启用灰度匹配，指定更鲁棒的算法，调低置信度阈值
location = pyautogui.locateOnScreen(
    reference_image,
    confidence=0.5,
    grayscale=True,
    method='cv2.TM_CCOEFF_NORMED'
)

grayscale=True可忽略颜色细微差异，TM_CCOEFF_NORMED算法对亮度变化的兼容性更好。

3. 手动加载图像绕开路径隐式处理 #

直接传入路径可能触发PyAutoGui内部加载的隐藏问题，手动加载图像后传入匹配函数：

from PIL import Image
import pyscreeze

# 手动加载并转换为RGB格式
reference_im = Image.open(reference_image).convert('RGB')
# 同步转换截图格式
screenshot_im = pyautogui.screenshot().convert('RGB')
# 调用底层匹配函数
location = pyscreeze.locate(
    reference_im,
    screenshot_im,
    confidence=0.5,
    grayscale=True
)

4. 修复高DPI缩放导致的像素不匹配 #

系统高DPI缩放会导致截图像素与实际屏幕元素像素不一致，需开启程序的DPI感知：

import ctypes
# 开启Per-Monitor DPI感知，适配高分辨率屏幕
ctypes.windll.shcore.SetProcessDpiAwareness(2)

或者通过系统设置关闭程序的DPI缩放：右键Python脚本→属性→兼容性→更改高DPI设置→勾选“替代高DPI缩放行为”，选择“应用程序”。

5. 清除PyAutoGui缓存 #

PyAutoGui可能缓存旧图像数据导致匹配异常，手动清除缓存：

import pyscreeze
pyscreeze.deleteCache()

验证顺序 #

1. 先测试标准化路径+调整匹配参数的组合；
2. 若失败，尝试手动加载图像的方式；
3. 最后检查并修复DPI缩放问题。

内容的提问来源于stack exchange，提问作者Safaa Mhirsi