树莓派Camera V2低延迟压缩视频ROS节点方案问询 适配声呐低带宽传输

一、现有raspicam_node参数优化 #

• 关闭自动曝光、自动白平衡：自动算法会增加帧等待延迟，直接固定曝光参数，启动节点时传入参数 _awb_mode:='off' _exposure_mode:='off' _shutter:=1000 _iso:=400，参数值可根据实际光照场景调整
• 缩减编码队列长度：默认输出队列会缓存多帧导致延迟叠加，修改节点配置将 queue_size 设为1，关闭不必要的帧缓存
• 调低压缩参数：默认JPEG质量设置过高会增加编码耗时和传输体积，将 _quality 设为20~30（可根据可接受的清晰度调整），分辨率降到 320x240甚至更低，帧率锁在10~15fps，声呐带宽极低的场景可进一步降到5fps
• 移除ROS消息额外封装：如果不需要其他ROS节点复用视频流，直接修改节点源码，跳过ROS Image消息的序列化封装步骤，直接输出裸JPEG帧，可减少100~300ms延迟

二、替代采集压缩方案 #

• 调用原生raspivid硬编码：树莓派GPU硬编码H.264的延迟远低于软编码JPEG，直接调用命令行工具捕获低延迟流：
  raspivid -t 0 -w 320 -h 240 -fps 15 -b 200000 -o - -vf -hf --intra 15 --qp 30 --norecord --flush
  其中--intra设为和帧率一致的数值，强制I帧间隔避免丢帧后花屏时间过长，--flush强制每帧立即输出不缓存，硬编码整体延迟可控制在100ms以内
• 用libcamera-still轮询捕获单帧：如果不需要连续流，按需触发捕获单帧JPEG，适合极低带宽场景，单帧捕获+压缩延迟可控制在50ms以内
• 自定义轻量化压缩：如果声呐带宽低于100kbps，可放弃通用JPEG/H.264编码，自行实现二值化/降色彩采样（比如降到2位灰度）+ RLE压缩，单帧大小可压到1KB以内，延迟极低

三、传输链路适配优化 #

注意：声呐链路本身的传播延迟是物理限制，水下100米距离就会有大约67ms的固有延迟，优化时不要低于这个物理下限

• 关闭TCP协议栈：TCP的重传、拥塞控制机制会大幅增加延迟，直接用UDP裸包传输，每帧拆成固定大小的小包发送，不需要确认重传，丢帧直接丢弃，优先保证低延迟
• 简化帧头标识：每个小包加2字节固定帧头+1字节帧序号+1字节包序号，接收端直接按序号拼接，不需要额外握手校验，校验仅做简单异或和，错帧直接丢弃
• 跳过ROS中间件：ROS1的TCPROS/UDPROS协议额外开销极大，完全去掉ROS封装，直接从采集端拿到压缩帧之后直接送给声呐链路驱动，可减少500ms以上的中间件延迟

四、ESP32接收端优化 #

• 接收端不做帧缓存，拿到完整一帧就直接输出到显示/处理单元，不需要攒帧
• 如果用H.264流，直接用ESP32软件解码库仅解码I帧，跳过P帧，进一步降低解码延迟
• 预留至少2KB的串口/DMA接收缓冲区，避免小包拼接时丢包

内容的提问来源于stack exchange，提问作者Bob9710