从持续增长的BytesIO中解码视频帧，pyav/OpenCV方案失效如何解决？

原有代码无法运行核心有三个问题：

• PyAV 默认将输入的文件对象视为定长，不会主动等待后续写入的新数据，首次demux到缓冲区末尾就会返回空包停止解码
• 缓冲区seek逻辑错误：每次写入新数据后seek到current_position，导致av.open读取的时候会跳过之前已经写入的元数据，无法正确识别容器格式
• 没有处理demux过程中数据不足的异常，没有等待新数据到达后重试解码

服务端修正逻辑 #

1. 首次接收完第一个分片（包含元数据）后再初始化容器，避免元数据不全导致识别失败
2. 调整缓冲区指针逻辑，保证PyAV能读取到所有已写入的未处理数据
3. 捕获数据不足的异常，收到新数据后重新尝试demux解码
4. 调整已处理位置的更新逻辑，避免重复解析已处理的数据包

修正后服务端代码 #

import io
import av
from fastapi import WebSocket, WebSocketDisconnect

async def video_stream_endpoint(websocket: WebSocket):
    await websocket.accept()
    buffer = io.BytesIO()
    # 记录已处理到的字节位置
    processed_pos = 0
    container = None
    video_stream = None
    
    try:
        while True:
            # 接收新的视频分片
            data = await websocket.receive_bytes()
            # 写入到缓冲区末尾
            buffer.seek(0, io.SEEK_END)
            buffer.write(data)
            
            # 首次初始化容器：确保缓冲区有完整元数据后再创建
            if container is None:
                # 指针回到缓冲区开头
                buffer.seek(0)
                container = av.open(buffer, mode="r", format=None)
                # 找到视频流
                video_stream = next(s for s in container.streams if s.type == 'video')
            
            # 指针跳转到未处理的位置
            buffer.seek(processed_pos)
            
            try:
                # 循环demux直到数据不足
                for packet in container.demux(video_stream):
                    if packet.size == 0:
                        # 数据不足，跳出等待新数据
                        break
                    # 更新已处理位置
                    processed_pos += packet.size
                    # 解码帧
                    for frame in packet.decode():
                        # 这里替换为你自己的帧处理逻辑
                        print(f"解码得到帧：格式{frame.format.name}, 尺寸{frame.width}x{frame.height}")
            except av.error.EOFError:
                # 缓冲区读完，等待新数据即可
                continue
            
    except WebSocketDisconnect:
        if container:
            container.close()
        buffer.close()

客户端适配调整 #

浏览器MediaRecorder默认输出的部分格式分片是独立的（每个分片都带头部），要符合「仅第一个分片带元信息」的前置条件，需要指定固定编码格式：

const socket = new WebSocket("ws://你的服务端地址");
// 指定编码格式，保证输出是连续的单容器流，只有第一个分片带元信息
const mediaRecorder = new MediaRecorder(stream, { mimeType: 'video/webm; codecs="vp8"' });
mediaRecorder.ondataavailable = ev => {
  if (ev.data.size > 0) {
    ev.data.arrayBuffer().then(buf => socket.send(buf));
  }
};
mediaRecorder.start(1000);

如果依然解码失败可按以下步骤确认：

1. 打印第一个接收的分片长度，正常webm格式头部在1KB以内，确认第一个分片已经接收完整元数据
2. 可先将所有接收的字节写入本地文件，用普通播放器打开验证客户端输出的流本身合法
3. 保证所有缓冲区读写操作都在同一个协程内执行，避免多线程并发操作导致指针混乱

内容的提问来源于stack exchange，提问作者Bergutov Ruslan