如何从Nest电池摄像头的SDP输出中提取视频帧？

• 设备：Nest电池摄像头，有线版支持RTSP，提取帧操作简单；电池版输出WebRTC协议的复杂SDP，难以直接处理
• 核心需求：
  1. 用ffplay/FFmpeg将SDP流保存为MP4文件
  2. 通过Python脚本提取SDP流中的图像帧
  3. 将SDP流转换为RTSP流的简便方法

一、用FFmpeg/ffplay处理SDP流保存为MP4 #

你的SDP属于WebRTC协议（包含ICE、DTLS、SRTP等安全传输字段），普通FFmpeg版本不支持，需使用编译时开启--enable-webrtc等相关选项的FFmpeg版本。

1. 将SDP内容保存为本地文件，命名为nest_stream.sdp
2. 执行FFmpeg命令直接转存为MP4：

ffmpeg -protocol_whitelist "file,udp,tcp,rtp,https,tls" -i nest_stream.sdp -c copy output.mp4

3. 用ffplay预览流（如需保存仍需结合FFmpeg）：

ffplay -protocol_whitelist "file,udp,tcp,rtp,https,tls" nest_stream.sdp

若连接失败，可强制指定TCP传输，添加参数-rtsp_transport tcp尝试。

二、Python提取SDP流中的图像帧 #

方法1：调用FFmpeg子进程结合OpenCV #

import subprocess
import cv2
import numpy as np

# 配置FFmpeg命令，将SDP流转为原始帧输出到管道
ffmpeg_cmd = [
    'ffmpeg',
    '-protocol_whitelist', 'file,udp,tcp,rtp,https,tls',
    '-i', 'nest_stream.sdp',
    '-f', 'rawvideo',
    '-pix_fmt', 'bgr24',
    '-'
]

process = subprocess.Popen(ffmpeg_cmd, stdout=subprocess.PIPE, bufsize=10**8)

# 假设流分辨率为1280x720，需根据实际情况调整
frame_width, frame_height = 1280, 720
frame_size = frame_width * frame_height * 3

while True:
    frame_data = process.stdout.read(frame_size)
    if not frame_data:
        break
    # 转换为OpenCV可处理的格式
    frame = np.frombuffer(frame_data, dtype=np.uint8).reshape((frame_height, frame_width, 3))
    # 保存帧或显示
    cv2.imwrite(f'frame_{cv2.getTickCount()}.jpg', frame)
    cv2.imshow('Nest Stream', frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

process.kill()
cv2.destroyAllWindows()

方法2：使用pyav库直接解码 #

import av

# 打开SDP流，指定允许的协议列表
container = av.open(
    'nest_stream.sdp',
    options={'protocol_whitelist': 'file,udp,tcp,rtp,https,tls'}
)

# 解码视频帧并保存
for idx, frame in enumerate(container.decode(video=0)):
    img = frame.to_image()
    img.save(f'frame_{idx}.jpg')

注意：需提前安装pyav和支持WebRTC的FFmpeg环境。

三、SDP转RTSP流的实现方案 #

WebRTC的SDP无法直接转换为RTSP（两者传输协议、信令机制完全不同），需通过中间工具中转：

方案1：使用rtsp-simple-server+FFmpeg中转 #

1. 安装并启动rtsp-simple-server（轻量级RTSP服务器）
2. 执行FFmpeg命令，将SDP流推送到RTSP服务器：

ffmpeg -protocol_whitelist "file,udp,tcp,rtp,https,tls" -i nest_stream.sdp -c copy rtsp://localhost:8554/nest_stream

之后即可通过rtsp://localhost:8554/nest_stream访问RTSP流。

方案2：使用Janus Gateway #

开源WebRTC网关，可接收WebRTC流（通过你的SDP），配置videoroom或streaming插件后，直接输出RTSP流，适合长期稳定的流转换场景。

方案3：OBS Studio捕获中转 #

用支持WebRTC的播放器（如新版VLC）打开SDP流，再用OBS捕获播放器窗口或流媒体源，通过OBS的RTSP推流功能输出RTSP流，适合临时测试场景。

SDP输出示例 #

v=0
o=- 0 2 IN IP4 127.0.0.1
s=-
t=0 0
a=group:BUNDLE 0 2 1
a=msid-semantic: WMS 16733765853514488918/633697675 virtual-6666
a=ice-lite
m=audio 19305 UDP/TLS/RTP/SAVPF 111
c=IN IP4 142.250.9.127
a=rtcp:9 IN IP4 0.0.0.0
a=candidate: 1 udp 2113939711 2607:f8b0:4002:c11::7f 19305 typ host generation 0
a=candidate: 1 tcp 2113939710 2607:f8b0:4002:c11::7f 19305 typ host tcptype passive generation 0
a=candidate: 1 ssltcp 2113939709 2607:f8b0:4002:c11::7f 443 typ host generation 0
a=candidate: 1 udp 2113932031 142.250.9.127 19305 typ host generation 0
a=candidate: 1 tcp 2113932030 142.250.9.127 19305 typ host tcptype passive generation 0
a=candidate: 1 ssltcp 2113932029 142.250.9.127 443 typ host generation 0
a=ice-ufrag:UVDO0GOJASABT95E
a=ice-pwd:FRILJDCJZCH+51YNWDGZIN0K
a=fingerprint:sha-256 24:53:14:34:59:50:89:52:72:58:04:57:71:BB:C4:89:91:3A:52:EF:C0:5A:A5:EC:B5:51:64:80:AC:13:89:8A
a=setup:passive
a=mid:0
a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level
a=extmap:3 http://www.ietf.org/id/draft-holmer-rmcat-transport-wide-cc-extensions-01
a=sendrecv
a=msid:virtual-6666 virtual-6666
a=rtcp-mux
a=rtpmap:111 opus/48000/2
a=rtcp-fb:111 transport-cc
a=fmtp:111 minptime=10;useinbandfec=1
a=ssrc:6666 cname:6666
m=video 9 UDP/TLS/RTP/SAVPF 108 109
c=IN IP4 0.0.0.0
a=rtcp:9 IN IP4 0.0.0.0
a=ice-ufrag:UVDO0GOJASABT95E
a=ice-pwd:FRILJDCJZCH+51YNWDGZIN0K
a=fingerprint:sha-256 24:53:14:34:59:50:89:52:72:58:04:57:71:BB:C4:89:91:3A:52:EF:C0:5A:A5:EC:B5:51:64:80:AC:13:89:8A
a=setup:passive
a=mid:1
a=extmap:2 http://www.webrtc.org/experiments/rtp-hdrext/abs-send-time
a=extmap:13 urn:3gpp:video-orientation
a=extmap:3 http://www.ietf.org/id/draft-holmer-rmcat-transport-wide-cc-extensions-01
a=sendrecv
a=msid:16733765853514488918/633697675 16733765853514488918/633697675
a=rtcp-mux
a=rtpmap:108 H264/90000
a=rtcp-fb:108 transport-cc
a=rtcp-fb:108 ccm fir
a=rtcp-fb:108 nack
a=rtcp-fb:108 nack pli
a=rtcp-fb:108 goog-remb
a=fmtp:108 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=42e01f
a=rtpmap:109 rtx/90000
a=fmtp:109 apt=108
a=ssrc-group:FID 633697675 3798748564
a=ssrc:633697675 cname:633697675
a=ssrc:3798748564 cname:633697675
m=application 9 DTLS/SCTP 5000
c=IN IP4 0.0.0.0
a=ice-ufrag:UVDO0GOJASABT95E
a=ice-pwd:FRILJDCJZCH+51YNWDGZIN0K
a=fingerprint:sha-256 24:53:14:34:59:50:89:52:72:58:04:57:71:BB:C4:89:91:3A:52:EF:C0:5A:A5:EC:B5:51:64:80:AC:13:89:8A
a=setup:passive
a=mid:2
a=sctpmap:5000 webrtc-datachannel 1024

内容的提问来源于stack exchange，提问作者user1446797