PyAutoGUI识别粉色任务按钮出错，误点橙色商店按钮求助

成因分析 #

1. 模板匹配对背景变化敏感：PyAutoGUI默认采用的基于OpenCV的归一化互相关模板匹配算法，会受按钮周围背景色调影响。游戏切换场景时，背景颜色变化会导致「任务」按钮模板与「商店」按钮的匹配得分波动，部分场景下得分超过0.85的阈值，进而被误识别。
2. 按钮特征区分度不足：两个按钮尺寸完全一致（34×34），仅颜色和内部图标（!/$）存在差异，低置信度下算法无法精准区分这些细微特征，导致大量误匹配结果。
3. 匹配精度偏差：匹配结果出现x±1/y±1的坐标偏移，说明模板匹配在边缘区域的定位精度有限，进一步加剧了背景变化带来的误判概率。

解决办法 #

1. 优化模板图片，聚焦核心标识 #

不要截取完整按钮，只提取「任务」按钮的核心特征区域（比如粉色背景+白色「!」图标），缩小模板范围后，匹配时会更专注于唯一标识，避免和「商店」按钮的$图标混淆。

2. 结合颜色过滤定位 #

先通过颜色范围筛选出粉色区域，再在该区域内做匹配或直接点击，从根源上排除橙色的「商店」按钮干扰。示例代码：

import pyautogui
import win32gui
import cv2
import numpy as np

def locate_task_button():
    app_hwnd = win32gui.FindWindow(None, 'Cornerpond')
    if not app_hwnd:
        return
    
    # 截取目标区域屏幕
    region = (1532, 718, 388, 322)
    screenshot = pyautogui.screenshot(region=region)
    screenshot_np = np.array(screenshot)
    
    # 转换为HSV空间，定义粉色范围（可根据实际截图调整）
    hsv = cv2.cvtColor(screenshot_np, cv2.COLOR_RGB2HSV)
    lower_pink = np.array([140, 50, 50])
    upper_pink = np.array([170, 255, 255])
    mask = cv2.inRange(hsv, lower_pink, upper_pink)
    
    # 筛选符合按钮尺寸的粉色区域
    contours, _ = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    for cnt in contours:
        x, y, w, h = cv2.boundingRect(cnt)
        if abs(w - 34) <= 2 and abs(h - 34) <= 2:
            # 计算绝对坐标并点击
            abs_x = region[0] + x + w // 2
            abs_y = region[1] + y + h // 2
            pyautogui.click(abs_x, abs_y)
            return

locate_task_button()

3. 使用固定相对坐标定位 #

如果游戏内按钮的相对位置（相对于Cornerpond窗口左上角）固定，直接获取窗口实时位置计算绝对坐标，完全避免模板匹配的误差：

import pyautogui
import win32gui

def get_window_pos(hwnd):
    left, top, right, bottom = win32gui.GetWindowRect(hwnd)
    return (left, top)

def click_task_button():
    app_hwnd = win32gui.FindWindow(None, 'Cornerpond')
    if not app_hwnd:
        return
    
    # 任务按钮相对于窗口左上角的偏移量（需自行测量）
    rel_x, rel_y = 300, 250
    win_left, win_top = get_window_pos(app_hwnd)
    pyautogui.click(win_left + rel_x, win_top + rel_y)

click_task_button()

4. 过滤匹配结果的颜色特征 #

保留模板匹配，但对所有结果进行二次校验——获取匹配点的像素颜色，判断是否符合粉色按钮的RGB范围，过滤掉橙色的误匹配：

import pyautogui
import win32gui

def locate_task_button():
    region = (1532, 718, 388, 322)
    matches = list(pyautogui.locateAllOnScreen(
        r'C:\path\image.png', 
        region=region, 
        confidence=0.85,
        grayscale=False
    ))
    
    for match in matches:
        center_x, center_y = pyautogui.center(match)
        # 获取中心像素RGB，判断是否为粉色（根据实际颜色调整范围）
        r, g, b = pyautogui.pixel(center_x, center_y)
        if 230 <= r <= 255 and 80 <= g <= 150 and 180 <= b <= 255:
            pyautogui.click(center_x, center_y)
            return

locate_task_button()

5. 基于特征点的匹配（进阶） #

改用OpenCV的SIFT/SURF特征点匹配算法，提取「任务」按钮的唯一特征点，即使背景变化，特征点匹配的稳定性远高于传统模板匹配。需要先安装opencv-contrib-python包。

内容的提问来源于stack exchange，提问作者ckaede