不同时间捕获的相同截图在Pillow与Numpy中匹配失败的问题排查及解决方案咨询

1. 第一个PIL比较代码的问题 #

直接用image1 == image2比较PIL Image对象，看似合理，但有两个关键坑：

• 零容忍的像素检查：PIL的__eq__方法会严格对比两张图的模式、尺寸和每一个像素，只要有一个像素不一样就返回False。而实际截图时，哪怕是同一内容，也可能因为屏幕渲染的微小波动（比如任务栏时间跳变、窗口边缘的细微阴影变化）产生肉眼不可见的像素差异，导致匹配失败。
• 对象实例差异：如果两张图是通过不同的Image.open()创建的对象，哪怕像素完全一致，某些情况下也可能因为内部状态的细微不同返回False（不过这个情况较少见，主要还是像素差异的问题）。

2. 第二个Numpy代码的致命错误 #

你写的np.array('test1.png')完全是用错了！这个代码是把字符串'test1.png'转换成numpy数组，而不是读取图片文件本身。比如np.array('test1.png')会生成一个包含单个字符串元素的数组，和np.array('test2.png')当然不相等，返回False是必然的结果。

根据你的需求，我提供两种可行的方案，分别适用于不同场景：

方案一：严格像素匹配（确保截图完全无差异） #

先修正Numpy代码的错误，正确读取图片并对比像素：

import pyautogui
import numpy as np
from PIL import Image

# 截图保存
pyautogui.screenshot('test1.png')
pyautogui.screenshot('test2.png')

# 正确读取图片为numpy数组
img1 = np.array(Image.open('test1.png'))
img2 = np.array(Image.open('test2.png'))

# 第一步先检查尺寸是否一致（尺寸不同直接不匹配）
if img1.shape != img2.shape:
    print("图片尺寸不同，无法匹配")
else:
    # 严格对比所有像素
    if np.array_equal(img1, img2):
        print('TRUE')
        # 匹配成功，退出程序
        exit()
    else:
        print("False")

方案二：容错式匹配（允许细微像素差异） #

考虑到实际截图很难做到100%像素一致，推荐用**均方误差（MSE）**来判断相似度，当MSE小于设定的阈值时，就认为两张图是相同的：

import pyautogui
import numpy as np
from PIL import Image
import time

time.sleep(3)
# 读取两张截图
img1 = np.array(Image.open('my_screenshot0.png'))
img2 = np.array(Image.open('my_screenshot1.png'))

# 先检查尺寸是否一致
if img1.shape != img2.shape:
    print("图片尺寸不同，无法匹配")
else:
    # 计算均方误差（值越小，图片越相似）
    mse = np.mean((img1 - img2) ** 2)
    # 设置相似度阈值（可根据实际情况调整，比如10、20）
    similarity_threshold = 10
    if mse < similarity_threshold:
        print("matched")
        # 匹配成功，退出程序
        exit()
    else:
        print(f"Failed，MSE值为{mse}（超过阈值{similarity_threshold}）")

• 尽量避开动态元素：截图时如果包含任务栏时间、通知弹窗、网页动态广告等，这些元素会持续变化，导致像素差异，建议裁剪掉这些区域再对比。
• 调整阈值：如果是高分辨率屏幕或者截图内容有轻微动画，可适当提高similarity_threshold的值，避免误判。

内容的提问来源于stack exchange，提问作者Asir Shahriar Roudra