Android发送H264视频至GStreamer报无效RTP负载问题求助

可能的核心原因 #

• 未遵循RFC 6184规范封装H264：GStreamer的rtph264depay元件要求接收符合标准的RTP封装H264包，直接发送原始H264 NALU（网络抽象层单元）字节数组会被判定为无效负载。
• H264 NALU格式异常：发送的H264数据缺失正确的起始码（0x000001或0x00000001），或包含非合规的NALU类型（比如冗余数据块），导致解封装器无法识别。
• RTP头部参数不匹配：如果手动构造RTP包，版本号、负载类型（H264通常用96号动态负载类型）、序列号、时间戳等字段错误，会触发GStreamer的校验失败。
• UDP传输丢包/乱序：UDP无可靠传输保障，数据包丢失或顺序混乱会让解封装器无法正确拼接NALU，进而丢弃无效片段。

编码与发送阶段的代码检查点 #

• 验证编码器输出的NALU格式：参考你使用的demo仓库，确认编码器输出的每个NALU是否带有正确起始码。部分编码器仅输出裸NALU，需要手动添加起始码后再进行RTP封装。
• 检查是否实现RTP封装逻辑：如果直接将编码器输出的H264字节数组塞入DatagramPacket发送，必然触发错误。需要按照RFC 6184标准，将NALU封装为RTP包（支持单NALU、聚合包、分片FU-A等模式）。
• 核对RTP负载类型配置：确保发送端设置的RTP负载类型（如96）与GStreamer管道中rtph264depay指定的payload参数完全一致。
• 检查RTP序列号与时间戳：RTP包的序列号必须严格递增，时间戳需匹配视频帧率（例如30fps时，时间戳增量应为90000/30=3000，RTP视频时间戳基准通常为90kHz），参数异常会被判定为无效包。
• 控制UDP数据包大小：若H264关键帧过大，需拆分多个RTP分片（FU-A模式）发送，避免超过MTU（通常1500字节）导致IP层分片丢失，引发解封装失败。

GStreamer管道侧验证建议 #

• 使用最简管道测试：udpsrc ! application/x-rtp,media=video,encoding-name=H264,payload=96 ! rtph264depay ! h264parse ! avdec_h264 ! autovideosink，排除复杂逻辑干扰，确认基础链路是否正常。
• 确保caps参数与发送端RTP配置完全匹配，比如encoding-name=H264、payload=96等关键字段不能遗漏或错误。

内容的提问来源于stack exchange，提问作者Shrikant Devarmani