如何使用PyAV解码来自WebSocket的H264原始字节数据？

问题原因 #

• H264帧拆分逻辑限制：parse方法需要识别到完整的H264帧边界（起始码0x000001或0x00000001）才会输出Packet对象，如果你传入的字节数据不包含完整帧，或者存在截断，parse会将数据暂存到内部缓冲区，等后续传入的数据拼接为完整帧后再返回，就会出现当前调用返回空列表的情况。
• 配置参数错误：你当前是解码场景，gop_size属于编码参数，给解码器设置该参数属于无效配置，还可能干扰内部解码逻辑。
• 传输层拆包/粘包影响：即使服务端是逐帧发送，WebSocket传输过程中也可能出现粘包、拆包，你拿到的raw_bytes不一定刚好对应一个完整的H264帧，parse暂时无法拼接出完整包就会返回空。

解决方案 #

1. 清理无效解码器配置，仅保留解码必要参数：

import av
code_ctx = av.CodecContext.create("h264", "r")
code_ctx.pix_fmt = "yuv420p"
code_ctx.width = 1090
code_ctx.height = 1072
code_ctx.thread_type = "AUTO"
# 移除gop_size参数，该参数仅编码场景生效

2. 新增缓冲区刷新逻辑，每次调用parse后就算返回空列表，也主动刷取解码器缓存的帧：

def test8(raw_bytes: bytes):
    packets = code_ctx.parse(raw_bytes)
    # 处理解析到的正常包
    for packet in packets:
        frames = code_ctx.decode(packet)
        for frame in frames:
            print(type(frame), type(getattr(frame, "planes")))
    # 解析返回空时，刷取缓存帧
    if not packets:
        try:
            frames = code_ctx.decode(None)
            for frame in frames:
                print(type(frame), type(getattr(frame, "planes")))
        except av.EOFError:
            # 解码结束的正常异常，直接忽略即可
            pass

3. 可选优化：如果确认服务端发送的每帧都带完整H264起始码，可以跳过parse步骤，直接构造Packet解码，降低缓冲区带来的影响：

def test8(raw_bytes: bytes):
    packet = av.Packet(raw_bytes)
    try:
        frames = code_ctx.decode(packet)
        for frame in frames:
            print(type(frame), type(getattr(frame, "planes")))
    except av.error.InvalidDataError:
        # 数据不完整时跳过，等待后续数据即可
        pass

内容的提问来源于stack exchange，提问作者NicoNing