PyAutoGui的LocateOnScreen装OpenCV后Windows仍返回None、Mac正常如何解决

问题描述 #

• 基于Mac、Windows双平台开发同一套自动化代码时，已完成OpenCV依赖安装，PyAutoGUI的locateOnScreen函数在Windows环境下始终返回None，无法正常识别目标元素；同一张参考图片在Mac环境下可完美匹配识别。
• 已编写系统判断逻辑适配不同平台的分辨率差异，原有实现代码如下：

cond = True
while cond:
    try:
        x, y = auto.center(auto.locateOnScreen(settings.btnLogin, confidence=.5))
        ## Click in Windows
        auto.click(x, y)

        ## Click in Mac
        auto.click(x/2, y/2)
        cond = False
    except Exception as e:
        print("Error", e)
return

• 核心疑问：相同识别逻辑在Mac端运行正常，Windows端始终无法识别目标登录按钮。

排查方向与修复方案 #

• 高DPI缩放适配缺失（最高发原因）
  Windows默认对高分辨率屏幕开启125%/150%的显示缩放，PyAutoGUI默认运行时不会感知系统缩放设置，实际截取的屏幕画面会被拉伸变形，和参考图的像素尺寸、比例完全不匹配，直接导致识别失败。你代码里写的x/2坐标换算刚好适配Mac端Retina屏幕的2倍默认缩放，但Windows端如果没有提前开启DPI感知，识别阶段拿到的画面本身就是错的，自然匹配不到目标。
  修复方式：在导入PyAutoGUI之前，优先给Windows进程开启DPI感知，获取真实1:1像素的屏幕画面：

  import sys
  if sys.platform == "win32":
      import ctypes
      ctypes.windll.user32.SetProcessDPIAware()
  

  开启后Windows端直接使用locateOnScreen返回的原始坐标点击即可，不需要额外做缩放换算。

• 跨平台UI渲染差异导致匹配失败
  Mac和Windows系统对同一UI元素的抗锯齿效果、色彩伽马值、字体渲染逻辑存在差异，哪怕肉眼看起来完全一致，像素级对比也会存在偏差，单张参考图无法同时适配两个系统的渲染效果。
  修复方式：

  • 单独在Windows环境下截取登录按钮的参考图，两个平台分别加载对应系统的参考素材，不要跨平台复用同一张截图
  • 调用locateOnScreen时增加grayscale=True参数开启灰度匹配，规避色彩通道差异带来的匹配误差，同时提升识别速度
  • 调试阶段可临时把confidence阈值降到0.3测试是否能匹配到目标，匹配成功后再逐步调高阈值找到稳定可用的数值（常规场景0.7-0.8的置信度即可兼顾准确率和容错性）

• 现有代码逻辑缺陷
  你当前的代码没有做系统分支判断，不管运行在哪个系统，两个点击逻辑都会依次执行：Windows下点完正确坐标后，会额外点击一次坐标除以2的错误位置；Mac下会先点一次未换算的错误坐标，再点换算后的正确位置，本身就存在逻辑错误。
  修复后的核心逻辑参考：

  import sys
  import pyautogui as auto
  
  # 优先做Windows DPI适配
  if sys.platform == "win32":
      import ctypes
      ctypes.windll.user32.SetProcessDPIAware()
  
  cond = True
  while cond:
      try:
          # 按系统加载对应参考图
          btn_img = settings.btnLoginWin if sys.platform == "win32" else settings.btnLoginMac
          center_pos = auto.center(auto.locateOnScreen(btn_img, confidence=0.75, grayscale=True))
          x, y = center_pos
          # 按系统分支执行点击
          if sys.platform == "win32":
              auto.click(x, y)
          else:
              # Mac Retina屏做2倍坐标换算
              auto.click(x//2, y//2)
          cond = False
      except Exception as e:
          print("Recognition failed, retrying:", e)
  

内容的提问来源于stack exchange，提问作者lucas antoni