WebRTC服务器H264视频无法解码问题排查求助

结合你描述的场景（自建服务器、Edge WHEP客户端、SDP/STUN/DTLS正常、自定义客户端可正常解包播放），以下是几个可能的原因及排查方向：

• 初始I帧未携带必需的SPS/PPS参数
  浏览器的WebRTC视频解码器必须先获取到H264的SPS（序列参数集）和PPS（图像参数集）才能初始化解码流程。即使你发送了I帧，如果该I帧没有附带对应的SPS/PPS，或者SPS/PPS不是最新的、未在播放初始阶段传递，浏览器会因无法初始化解码器而报错。
  排查点：

  1. 检查SDP中fmtp字段的sprop-parameter-sets是否正确填写了编码后的SPS/PPS值；
  2. 确认在发送第一个I帧前，是否通过独立的RTP包（NALU类型为7、8）发送了SPS/PPS，或者在I帧的FU-A分片前携带了这些参数。

• H264关键帧的标识或响应逻辑异常
  客户端持续上报PLI（图片丢失指示），说明浏览器认为当前没有可用的关键帧来恢复解码。可能的情况：

  1. 你发送的I帧并非IDR帧（H264中真正的关键帧是IDR帧，NALU类型为5），普通I帧无法让解码器完全重置解码状态；
  2. 服务器未正确响应客户端的PLI请求，没有及时触发IDR帧的发送；
  3. IDR帧的RTP打包存在问题，比如分片标记错误，导致浏览器无法识别这是一个完整的关键帧。

• SDP声明的编码参数与实际流不匹配
  SDP中profile-level-id、packetization-mode等参数必须和实际发送的H264流完全一致。例如：

  • SDP声明的是Baseline Profile，但实际流是High Profile；
  • SDP设置的packetization-mode为1（分片模式），但实际发送的是单NALU模式。
    浏览器会严格校验这些参数，不匹配时会拒绝解码，而自定义客户端或VLC的容错性更高，可能忽略这些不匹配。

• RTP打包格式不符合RFC 6184规范
  H264的RTP打包必须严格遵循RFC 6184的要求，尤其是FU-A分片的处理：

  • 分片的S位（起始标记）和E位（结束标记）必须正确设置；
  • 禁止将多个独立NALU打包到同一个RTP包中（除非使用STAP-A模式，但需在SDP中声明）；
  • NALU头的类型字段必须正确映射。
    自定义客户端可能能容错格式小问题，但浏览器的WebRTC栈对格式错误零容忍，哪怕一个分片标记错误都会导致整个帧无法解码。

• SRTP解密后的NALU数据损坏
  虽然抓包显示SRTP的序列号、时间戳等参数正确，但仍有可能在libsrtp加解密过程中出现数据损坏。比如：

  • 加密上下文初始化时的密钥盐值（salt）不匹配；
  • 密钥更新时未同步客户端，导致后续帧解密错误；
  • RTP负载长度计算错误，导致解密后的数据截断或多出冗余字节。
    可以尝试临时关闭SRTP加密（仅用于测试），如果能正常播放，说明问题出在加密环节。

内容的提问来源于stack exchange，提问作者qyt