使用FFmpeg管道推RTSP流缺失SPS、PPS帧该如何调整配置？

问题原因 #

你的FFmpeg命令确实缺少强制SPS/PPS随关键帧发送的相关配置，加上原有参数设置不合理，导致部分对SPS/PPS位置敏感的硬解码设备无法正常拉流解码。

调整后的完整命令 #

command = ['ffmpeg',
           '-re',
           '-y',
           '-f', 'rawvideo',
           '-vcodec', 'rawvideo',
           '-pix_fmt', 'bgr24',
           '-s', "{}x{}".format(width, height),
           '-r', str(fps),
           '-i', '-',
           '-c:v', 'libx264',
           '-preset', 'ultrafast',
           # 核心参数1：强制x264每关键帧前重复发送SPS、PPS
           '-x264-params', 'repeat-headers=1',
           # 参数2：转换H264流为Annex B格式，符合RTSP传输标准
           '-bsf:v', 'h264_mp4toannexb',
           # 参数3：允许将SPS/PPS写入流全局头，替换原有错误的local_headers配置
           '-flags', '+global_header',
           '-f', 'rtsp',
           '-rtsp_transport', 'tcp',
           # 参数4：开启RTSP参数传输能力，确保SDP携带完整序列信息
           '-rtsp_flags', 'send_parameters',
           '-muxdelay', '0.1', 
           rtsp_url]

参数说明 #

• -x264-params repeat-headers=1：默认libx264仅在流最开始发送一次SPS、PPS，该参数强制每一个IDR关键帧前都重复发送序列头，解决设备中途拉流拿不到解码参数的问题
• -bsf:v h264_mp4toannexb：将libx264默认输出的AVCC格式H264流转换为带0x00000001起始码的Annex B格式，符合RTSP传输标准，适配绝大多数硬解码设备
• -flags +global_header：原配置中的local_headers参数会阻止全局头信息被写入流中，替换为该参数后可确保SPS/PPS被正常封装到RTSP流的全局头，握手阶段即可传递序列参数
• -rtsp_flags send_parameters：开启RTSP流的参数传输能力，确保SDP信息中携带完整的SPS/PPS信息

额外注意事项 #

• 你贴出的Python代码中p.stdin.write(frame.tobytes()缺少右括号，实际运行时需要补上，最好在写操作后加p.stdin.flush()防止缓冲区堆积导致帧丢失
• 如果调整后设备仍无法解码，可以额外添加-profile:v baseline -level 3.1参数，降低编码规格适配低端硬解码设备
• 可以根据场景调整关键帧间隔，添加-g 25（假设fps为25，即每1秒一个关键帧），降低设备等待关键帧的时间

内容的提问来源于stack exchange，提问作者yuniversi