如何用Python捕获送往显示器的原始像素数据而非屏幕截图？

我一直在寻找解决方案，以绕过Python库mss中内置的WinAPI显示器刷新率限制。

是否存在比mss更合适的Python库，能够捕获计算机送往显示器的每一个像素的颜色（在像素到达显示器之前），而非捕获显示器上的画面？显示器每1/60秒才会接收一次待显示的数据，但有没有办法更频繁地获取这些数据？例如，是否可以使用一个刷新率高于实际显示能力的虚拟显示器？

我的目标是在没有高刷新率显示器的情况下，以>240fps的速率捕获特定像素的RGB值。

解决方案 #

1. 直接读取GPU渲染缓冲区（核心思路） #

绕过WinAPI的显示器捕获限制，从GPU渲染管线获取数据，这是突破刷新率瓶颈的关键：

• 用pywin32调用Direct3D API：直接访问GPU的后台缓冲区，读取GPU准备好的每帧数据，不受显示器刷新率约束。可以针对性读取特定像素区域，不用捕获整屏，性能更高。
• 借助pycuda/pyopencl：如果目标内容是GPU加速渲染的，直接读取GPU显存中的渲染数据，帧率轻松超过240fps。

2. 高刷新率虚拟显示器搭配GPU捕获 #

先模拟高刷新率输出环境，再配合GPU级捕获工具：

• 安装虚拟显示器驱动（比如Virtual Display Manager），将虚拟显示器的刷新率设置为240Hz以上，让系统和GPU以高帧率输出帧。
• 注意不要用mss这类依赖桌面捕获的工具，必须搭配前面提到的Direct3D或GPU显存读取方案，才能拿到真实的高帧率数据。

3. 进程插桩捕获特定程序帧 #

如果目标是某款特定软件的像素数据，直接挂钩其渲染函数：

• 使用frida-python动态插桩工具，挂钩目标程序的渲染输出函数（比如DirectX的Present方法），每帧渲染完成后直接读取指定像素值，帧率完全跟随程序的渲染速度，不受任何显示器限制。

内容的提问来源于stack exchange，提问作者BappoHotel