Python捕获GPU加速窗口并生成视频：帧率同步与丢帧处理

一、解决GPU加速窗口捕获的核心问题 #

你遇到的gdigrab灰屏、mss无法捕获被遮挡窗口的问题，本质是传统GDI/BitBlt接口无法读取GPU渲染的显存内容。OBS的"Windows 10 (1903+)"模式用的是Windows Graphics Capture API，这是微软专为GPU加速内容设计的捕获接口，以下是两种Python实现路径：

1. 用ffmpeg的dxgrab设备替代gdigrab #

ffmpeg原生支持dxgrab（DirectX捕获），可以直接抓取GPU加速窗口，无需额外库。Python中可通过subprocess调用，示例代码：

import subprocess
import win32gui

def get_hwnd(window_title):
    return win32gui.FindWindow(None, window_title)

# 获取目标窗口句柄
hwnd = get_hwnd("你的GPU应用窗口标题")
# 构造ffmpeg命令
cmd = [
    "ffmpeg",
    "-f", "dxgrab",
    "-hwaccel", "dxva2",  # 开启硬件加速
    "-i", f"hwnd={hwnd}",
    "-c:v", "h264_nvenc",  # 用NVIDIA硬件编码，提升速度
    "-r", "60",
    "output.mp4"
]
# 启动录制
subprocess.run(cmd)

这个方案无需复杂的Python逻辑，直接利用ffmpeg的硬件加速能力，避免灰屏问题。

2. 直接调用Windows Graphics Capture API #

如果需要更灵活的帧处理（比如实时分析），可以用pywin32+comtypes调用原生API，核心步骤：

• 枚举窗口获取HWND
• 创建Graphics Capture会话
• 注册帧回调，获取GPU纹理数据
• 将纹理转成RGB格式供后续处理

这种方式可以捕获被遮挡的窗口，且帧率稳定，适合需要逐帧处理的场景。

二、解决帧率同步与丢帧问题（针对你现有捕获方案） #

你遇到的快进问题，根源是捕获帧率远低于编码帧率，视频容器按设定FPS播放导致速度异常。要实现高精度时间戳匹配，需从以下几点优化：

1. 强制同步捕获与编码帧率 #

用高精度计时器控制捕获节奏，确保每帧的时间戳精准：

import time

target_fps = 60
frame_interval = 1.0 / target_fps
last_capture_ts = time.perf_counter()
recording = True

while recording:
    current_ts = time.perf_counter()
    if current_ts - last_capture_ts >= frame_interval:
        # 捕获帧
        frame = capture_win_alt()
        # 记录帧的精确时间戳
        frame_ts = current_ts
        # 将帧和时间戳传入ffmpeg编码
        write_frame_with_ts(frame, frame_ts)
        last_capture_ts = current_ts
    else:
        time.sleep(0.001)  # 减少CPU占用

关键：所有时间戳都用time.perf_counter()，它是Windows上的高精度计时器（精度可达微秒级），不受系统时间调整影响。

2. 丢帧处理方案 #

方案一：插入黑屏补帧

当捕获间隔超过2倍帧间隔时，判定为丢帧，插入对应数量的黑屏帧，保证视频时长与实际时间一致：

current_ts = time.perf_counter()
delta_ts = current_ts - last_capture_ts
if delta_ts >= frame_interval:
    expected_frames = int(delta_ts // frame_interval)
    # 补全缺失的帧
    for i in range(expected_frames - 1):
        fill_ts = last_capture_ts + frame_interval * (i + 1)
        # 生成与目标帧尺寸一致的黑屏
        black_frame = create_black_frame(frame_width, frame_height)
        write_frame_with_ts(black_frame, fill_ts)
    # 捕获当前帧
    frame = capture_win_alt()
    write_frame_with_ts(frame, current_ts)
    last_capture_ts = current_ts

方案二：动态帧率（VFR）编码

让ffmpeg根据帧的时间戳动态调整播放速度，无需固定FPS。调用ffmpeg时添加参数：

ffmpeg -f rawvideo -pix_fmt bgr24 -s WxH -i - -c:v h264_nvenc -use_wallclock_as_timestamps 1 output.mp4

通过管道传输帧时，给每一帧带上精确的时间戳，编码器会自动适配，避免快进/慢放问题。

3. 提升捕获效率 #

你的capture_win_alt()函数效率偏低，可做以下优化：

• 避免每次捕获都重新初始化设备，保持会话长期打开
• 直接使用硬件格式（如NV12）传输，减少CPU格式转换开销
• 用多线程分离捕获、编码、事件记录逻辑，避免单线程阻塞

三、高精度时间戳匹配要点 #

• 统一时间源：所有帧捕获、事件记录都用time.perf_counter()，不要混用time.time()
• 保留原始时间戳：编码时确保ffmpeg不修改帧的时间戳，可添加-copyts参数
• 离线对齐：后续分析时直接用事件的时间戳与帧的时间戳匹配，无需依赖视频播放时长

内容的提问来源于stack exchange，提问作者Xsarin