如何存储传入H.264 RTP流的报文头信息以配合libjpeg-turbo转码

当前问题根因 #

你当前使用的命令输出的是无任何封装的rawvideo裸流，没有帧边界标识和元数据字段，UDP传输分片后无法判断单帧的起止范围，是画面损坏的核心原因；且裸流格式本身不支持携带RTP头相关元数据，自然无法获取原始H.264 RTP的头信息。

解决方案 #

方案1：改用低开销容器格式输出，同时透传RTP头信息 #

替换-f rawvideo为nut这类轻量容器格式，开启FFmpeg帧侧数据透传参数，即可将原始RTP的序列号、时间戳、SSRC等头信息作为帧元数据和RGBA帧绑定输出，同时天然带帧边界标识，接收端直接按容器格式解析即可拿到完整帧和对应的RTP头信息，无需自己处理分片组装。
参考命令：

ffmpeg -i rtsp://<你的流地址> -vcodec rawvideo -pix_fmt rgba -copyts -export_side_data +rtp -f nut udp://<目标地址:端口>

方案2：拆分处理流程，直接捕获原始RTP头 #

如果不想引入容器解析逻辑，可以将流程拆分为两步：

• 第一步直接监听原始RTP端口，捕获所有H.264 RTP报文，自行解析并保存RTP头，按RTP序列号组装成完整的H.264 NALU帧
• 第二步将完整H.264帧送入FFmpeg解码器转成RGBA格式，和之前保存的对应RTP头绑定后送入后续libjpeg-turbo转码链路，完全避免帧乱序、分片不全的问题

临时兼容方案（仅解决画面损坏，无法保留RTP头） #

如果你的流分辨率固定，可提前计算单帧RGBA数据的固定长度：单帧字节数 = 宽 × 高 × 4，接收端每次攒够对应字节数再送入libjpeg-turbo即可解决画面损坏问题，但该方案不支持获取原始RTP头信息，仅适合临时调试使用。

内容的提问来源于stack exchange，提问作者SOSparachuter1