Flutter基于flutter_webrtc实现RTP Header Extension的技术求助

一、无需修改WebRTC包的简便方案 #

1. 利用视频SEI字段携带元数据 #

SEI是H.264/H.265编码标准中专门用于传输额外信息的字段，可直接嵌入视频流中，无需改动WebRTC底层。

• 实现思路：通过自定义视频源，捕获原始视频帧后，手动将字典元数据序列化（如转成二进制或压缩JSON），插入到帧的SEI区域，再将处理后的帧传入WebRTC推流管道。
• 注意事项：需严格遵循SEI的格式规范，避免破坏视频编码兼容性；部分流媒体服务器需配置支持解析自定义SEI数据。

2. 并行DataChannel同步传输元数据 #

在WebRTC连接中建立独立的DataChannel，与视频流并行发送元数据：

• 实现思路：每发送一帧视频时，同时通过DataChannel发送对应帧的元数据，用帧的时间戳作为同步标识，接收端根据时间戳匹配帧和元数据。
• 优势：完全无需修改WebRTC相关代码，实现成本极低；
• 劣势：需处理网络抖动导致的时序错位问题，建议在元数据中携带帧的唯一ID或精确时间戳用于同步。

二、修改flutter_webrtc包实现RTP头部扩展 #

若必须使用RTP头部扩展方案，需从Dart API、原生桥接、WebRTC配置三个层面修改：

1. Dart层扩展API #

在flutter_webrtc的核心类（如RTCPeerConnection或MediaStreamTrack）中添加设置自定义RTP头部扩展的方法：

• 新增方法如addFrameMetadataExtension(Map<String, dynamic> metadataConfig)，用于传递元数据的序列化规则和扩展URI；
• 在每帧发送前，将当前帧的字典元数据序列化为二进制数据（如Protobuf或精简二进制格式），传递给原生层。

2. 原生桥接层修改 #

Android端

• 修改FlutterWebRTCPlugin或对应视频Track的桥接代码，获取Dart层传递的元数据；
• 调用WebRTC原生RtpSender的setParameters方法，添加自定义RTP头部扩展配置（指定扩展URI和ID）；
• 在视频帧发送的回调钩子中，将元数据二进制插入到RTP头部的扩展字段。

iOS端

• 修改FlutterWebRTC的桥接类，通过RTCRtpSender的parameters属性添加RTCRtpHeaderExtension；
• 监听视频帧的发送事件，将序列化后的元数据注入到RTP头部扩展区域。

3. SDP协商配置 #

在创建Offer/Answer时，需将自定义RTP头部扩展的信息加入SDP，确保服务器识别：

• 在SDP的a=extmap字段中添加自定义扩展，示例：a=extmap:1 urn:your-app:frame-metadata，其中1是扩展ID，urn:your-app:frame-metadata是自定义URI。

关键注意事项 #

• 元数据体积需控制在RTP头部扩展的限制内（单扩展建议不超过16字节），建议用二进制序列化代替JSON以压缩体积；
• 需确保服务器端支持解析该自定义RTP头部扩展，否则元数据会被丢弃；
• 若底层WebRTC原生库未暴露足够的钩子，可能需要少量修改WebRTC源码（如在视频编码后、RTP打包前插入扩展数据）。

内容的提问来源于stack exchange，提问作者Adrien Gaillard