自动化脚本无法点击应用内小型蓝色图标问题咨询

我开发的自动化脚本需要选中指定应用，在应用内执行操作后会出现一个小型蓝色图标，脚本需要点击这个图标，但目前无法完成点击。以下是我的代码：

import pyautogui
import cv2
import numpy as np
import time
import mss
import pygetwindow as gw

template_path = 'blue_icon.png'
app_title = "XXX"  # 输入应用窗口的准确名称


def find_and_click_blue_icon():
    # 获取应用窗口
    app_window = gw.getWindowsWithTitle(app_title)

    if not app_window:
        print(f'未找到名称为: {app_title} 的应用')
        return

    app_window = app_window[0]  # 假设列表中的第一个窗口为目标窗口

    # 切换到该窗口
    app_window.activate()

    # 应用窗口的坐标
    left, top, width, height = app_window.left, app_window.top, app_window.width, app_window.height

    # 截取应用窗口区域的屏幕截图
    with mss.mss() as sct:
        monitor = {"top": top, "left": left, "width": width, "height": height}
        screenshot = sct.grab(monitor)
        screenshot = np.array(screenshot)
        screenshot = cv2.cvtColor(screenshot, cv2.COLOR_BGRA2BGR)

    # 加载蓝色图标模板
    template = cv2.imread(template_path, cv2.IMREAD_COLOR)

    # 模板匹配
    result = cv2.matchTemplate(screenshot, template, cv2.TM_CCOEFF_NORMED)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)

    # 匹配度高则点击
    if max_val > 0.2:
        icon_x, icon_y = max_loc
        icon_center_x = left + icon_x + template.shape[1] // 2  # 加上窗口左侧偏移
        icon_center_y = top + icon_y + template.shape[0] // 2  # 加上窗口顶部偏移
        pyautogui.click(icon_center_x, icon_center_y)


# 程序主循环
while True:
    find_and_click_blue_icon()
    time.sleep(0.4)

排查与修复步骤 #

• 调整模板匹配阈值
  当前阈值0.2过低，会导致大量误匹配，反而可能错过真实图标。先打印max_val查看实际匹配度，再调高阈值（比如0.8）：

  print(f"当前匹配度：{max_val}")
  if max_val > 0.8:
  

• 验证模板图片准确性
  确保blue_icon.png是从目标应用中截取的精确图标截图，无多余背景、尺寸与实际图标完全一致。可以添加调试代码，将匹配结果可视化：

  if max_val > 0.8:
      h, w = template.shape[:2]
      cv2.rectangle(screenshot, max_loc, (max_loc[0]+w, max_loc[1]+h), (0,255,0), 2)
      cv2.imwrite("match_debug.png", screenshot)
  

  查看生成的match_debug.png，确认是否正确框选了目标图标。

• 修正窗口坐标与截图偏差
  pygetwindow获取的窗口坐标可能包含标题栏或边框，导致截图区域偏移。打印left, top, width, height的值，对比实际窗口位置；或添加窗口激活延迟，确保窗口完全聚焦后再截图：

  app_window.activate()
  time.sleep(0.2)  # 等待窗口激活完成
  

• 检查PyAutoGUI点击有效性
  部分高权限应用会拦截模拟点击，可先测试桌面坐标点击是否正常：

  pyautogui.click(100,100)  # 点击桌面左上角
  

  若无效，尝试以管理员权限运行脚本；同时验证计算的点击坐标是否正确，可先移动鼠标到目标位置观察：

  pyautogui.moveTo(icon_center_x, icon_center_y)
  # 手动确认鼠标位置是否在图标上，再执行click
  

• 确认截图颜色转换正确性
  保存截图查看是否与实际窗口一致，排查颜色转换问题：

  cv2.imwrite("test_screenshot.png", screenshot)
  

内容的提问来源于stack exchange，提问作者Centrum Programisty