Mac OS X下Python检测屏幕像素颜色：PIL坐标错位与autopy导入失败求助

问题背景 #

平时在PC上用pyautogui可以轻松实现无弹窗检测光标位置像素颜色：

pyautogui.moveTo(xcoord,ycoord,1)
x,y=pyautogui.position()
RGBVal=pyautogui.pixel(x,y)

但在Mac上尝试了两种方案都遇到问题：

• PIL坐标不匹配：用PIL.ImageGrab.grab().load()[pilx,pily]时，y值需要是预期值的3倍才能对应正确区域，反转y轴也没用。
• autopy导入失败：降级到Python3.7.14后pip显示安装成功，但import autopy时报错"No module named 'autopy'"。

方案一：修复PIL的坐标匹配问题 #

Mac的Retina屏幕存在缩放因子（通常是2或3，取决于屏幕型号），系统光标坐标和ImageGrab截取的像素坐标不是1:1对应，解决步骤如下：

1. 先获取屏幕缩放因子，需要先安装pyobjc（pip install pyobjc）：

import AppKit
screen = AppKit.NSScreen.mainScreen()
scale_factor = screen.backingScaleFactor()

2. 将系统光标坐标乘以缩放因子，再传入ImageGrab：

from PIL import ImageGrab

# 获取当前光标系统坐标
x, y = pyautogui.position()
# 转换为ImageGrab对应的像素坐标
pil_x = int(x * scale_factor)
pil_y = int(y * scale_factor)
# 获取像素颜色
rgb = ImageGrab.grab().load()[pil_x, pil_y]

这样就能准确对应到光标位置的像素颜色了。

方案二：解决autopy的导入问题 #

出现导入错误大概率是因为pip安装的路径和当前Python环境不匹配，解决方法：

• 明确指定用Python3.7的pip安装：

python3.7 -m pip install autopy

• 检查当前Python环境的site-packages路径，确认autopy是否在其中：

import sys
print(sys.path)

如果autopy不在输出路径里，找到pip安装的autopy文件夹，手动添加到sys.path：

import sys
sys.path.append("/path/to/autopy/folder")
import autopy

• 也可以用虚拟环境避免版本冲突：

python3.7 -m venv myenv
source myenv/bin/activate
pip install autopy

之后在虚拟环境里运行代码即可正常导入。

替代方案：用PyObjC直接调用系统API #

如果不想依赖第三方库，直接用PyObjC调用Quartz框架获取像素颜色，步骤如下：

1. 安装PyObjC：pip install pyobjc
2. 编写代码：

import Quartz
import AppKit

def get_pixel_color(x, y):
    # 获取主屏幕
    screen_id = Quartz.CGMainDisplayID()
    # 创建颜色空间
    color_space = Quartz.CGColorSpaceCreateDeviceRGB()
    # 创建上下文
    context = Quartz.CGBitmapContextCreate(None, 1, 1, 8, 4, color_space, Quartz.kCGImageAlphaPremultipliedLast)
    # 截取指定坐标的1x1像素
    Quartz.CGContextTranslateCTM(context, -x, -y)
    Quartz.CGContextSetBlendMode(context, Quartz.kCGBlendModeCopy)
    Quartz.CGContextDrawImage(context, (0, 0, 1, 1), Quartz.CGDisplayCreateImage(screen_id))
    # 获取像素数据
    data = Quartz.CGBitmapContextGetData(context)
    # 转换为RGB值
    r = data[0]
    g = data[1]
    b = data[2]
    return (r, g, b)

# 获取当前光标坐标
x, y = AppKit.NSEvent.mouseLocation()
# Mac的鼠标坐标原点在左下角，转换为左上角原点
screen_height = AppKit.NSScreen.mainScreen().frame().size.height
y = screen_height - y
# 获取颜色
rgb = get_pixel_color(x, y)

这个方法直接调用系统底层API，坐标匹配准确，也不会有弹窗问题。

内容的提问来源于stack exchange，提问作者don johnson