如何使用Python提升视频帧随机访问效率？

问题本质 #

pims默认的Video类采用逐帧顺序解码逻辑——要访问第N帧，必须先解码完成前面N-1帧，这就是耗时随目标帧序号线性增长的核心原因。而ffmpeg的-ss参数是利用视频的关键帧索引直接跳转到目标帧附近，仅需解码少量帧就能拿到结果，因此速度差距极大。

具体解决方法 #

1. 切换到pims的PyAVReaderIndexed类 #

这是pims生态内最直接的优化方案，PyAVReaderIndexed基于PyAV（ffmpeg的Python封装），支持关键帧跳转，无需逐帧解码：

import pims
from time import perf_counter

# 替换默认的pims.Video为PyAVReaderIndexed
video = pims.PyAVReaderIndexed('video/v1.MOV')
t0 = perf_counter()
img = video[10000]  # 直接跳转访问目标帧
t1 = perf_counter()
print(f'{(t1-t0):.3f}s  {img.shape}')

该类会自动解析视频的关键帧索引，访问任意帧的耗时基本一致，速度和ffmpeg原生命令接近。

2. 直接调用ffmpeg命令（极端性能需求） #

如果PyAVReaderIndexed仍无法满足需求，可以用Python的subprocess直接调用ffmpeg，通过管道读取帧数据，避免磁盘IO开销：

import subprocess
import numpy as np
from PIL import Image
from io import BytesIO
from time import perf_counter

def get_frame_by_ffmpeg(video_path, frame_num, fps=60):
    # 计算目标帧对应的时间戳
    timestamp = frame_num / fps
    # 构造ffmpeg命令，输出到管道避免生成临时文件
    cmd = [
        'ffmpeg',
        '-ss', f'{timestamp:.3f}',  # 跳转到目标时间点
        '-i', video_path,
        '-frames:v', '1',           # 仅提取1帧
        '-f', 'image2pipe',         # 输出到管道
        '-vcodec', 'png',           # 用PNG编码保证画质
        '-'
    ]
    # 执行命令并捕获输出
    proc = subprocess.run(cmd, capture_output=True, check=True)
    # 从二进制数据加载图像并转为numpy数组
    img = Image.open(BytesIO(proc.stdout))
    return np.array(img)

t0 = perf_counter()
img = get_frame_by_ffmpeg('video/v1.MOV', 10000)
t1 = perf_counter()
print(f'{(t1-t0):.3f}s  {img.shape}')

这种方式完全复用ffmpeg的高效跳转能力，耗时和直接执行ffmpeg命令几乎一致。

3. 预生成视频索引（可选） #

如果需要频繁访问同一视频，可以提前用ffmpeg生成索引文件，减少首次解析视频的时间：

ffmpeg -i v1.MOV -f ffmetadata -write_index 1 v1.ffindex

后续使用pims或PyAV时，会自动读取该索引文件，进一步加快访问速度。

内容的提问来源于stack exchange，提问作者Paul Jurczak