如何在Pion WebRTC Go中将ROS图像流的image.RGBA编码为H264 RTP包

核心结论 #

Pion WebRTC的视频轨（如webrtc.TrackLocalStaticSample）仅接受已编码的媒体数据（H.264、VP8等标准视频编码格式），不会自动编码原始RGB图像。必须先将image.RGBA编码为WebRTC支持的格式，再写入Sample。

低内存编码方案替代（替换gen2brain x264） #

gen2brain的x264绑定内存占用过高，推荐两种更轻量的实现方案：

方案1：纯Go实现VP8编码（Pion官方库） #

依赖Pion的vpx编码器，无外部依赖，内存占用可控：

首先安装依赖：

go get github.com/pion/mediadevices/pkg/codec/vpx
go get github.com/pion/mediadevices/pkg/prop

修改你的ROS回调逻辑：

import (
    "image"
    "time"
    "github.com/pion/mediadevices/pkg/codec/vpx"
    "github.com/pion/mediadevices/pkg/prop"
    "github.com/pion/webrtc/v3"
    "github.com/pion/webrtc/v3/pkg/media"
)

// 全局初始化编码器（订阅前完成，避免重复创建）
vp8Params, err := vpx.NewParams()
if err != nil {
    panic(err)
}
vp8Params.BitRate = 1_000_000 // 1Mbps，可根据分辨率调整
vp8Params.FPS = 30
videoProp := prop.Video{
    Width:  int(cam.Width),
    Height: int(cam.Height),
    FPS:    30,
}
encoder, err := vp8Params.BuildVideoEncoder(videoProp)
if err != nil {
    panic(err)
}

sub, err := h.Subscribe(cam.TopicName, func(msg *sensor_msgs.Image) {
    throttler(func() {
        width := int(msg.Width)
        height := int(msg.Height)
        data := msg.Data
        
        // 优化RGB转RGBA：直接操作底层切片，避免逐像素Set（原方案效率极低）
        rgba := image.NewRGBA(image.Rect(0, 0, width, height))
        for i := 0; i < len(data); i += 3 {
            idx := i/3*4
            rgba.Pix[idx] = data[i]     // R
            rgba.Pix[idx+1] = data[i+1] // G
            rgba.Pix[idx+2] = data[i+2] // B
            rgba.Pix[idx+3] = 255       // A
        }
        
        // 编码RGBA为VP8帧
        encodedFrame, err := encoder.Encode(rgba)
        if err != nil {
            // 非致命错误直接跳过，避免服务崩溃
            return
        }
        
        // 写入视频轨：按实际FPS计算时长（30FPS对应1/30秒）
        sampleDuration := time.Second / 30
        if err = videoTrack.WriteSample(media.Sample{
            Data:     encodedFrame,
            Duration: sampleDuration,
        }); err != nil && err != io.ErrClosedPipe {
            panic(err)
        }
    })
})

方案2：调用FFmpeg进程编码（极致低内存） #

如果纯Go编码器仍内存过高，可通过管道调用系统FFmpeg进程，适合高分辨率场景：

import (
    "bufio"
    "fmt"
    "os/exec"
    "time"
    "github.com/pion/webrtc/v3/pkg/media"
)

// 初始化FFmpeg进程（订阅前创建）
width := int(cam.Width)
height := int(cam.Height)
cmd := exec.Command("ffmpeg",
    "-f", "rawvideo",
    "-pixel_format", "rgba",
    "-video_size", fmt.Sprintf("%dx%d", width, height),
    "-framerate", "30",
    "-i", "-", // 从标准输入读取原始RGB数据
    "-c:v", "libvpx",
    "-b:v", "1M",
    "-f", "ivf", // VP8的IVF容器，适配WebRTC
    "-", // 输出到标准输出
)
stdin, err := cmd.StdinPipe()
if err != nil {
    panic(err)
}
stdout, err := cmd.StdoutPipe()
if err != nil {
    panic(err)
}
if err := cmd.Start(); err != nil {
    panic(err)
}

// 后台协程读取FFmpeg输出并写入视频轨
go func() {
    scanner := bufio.NewScanner(stdout)
    scanner.Buffer(make([]byte, 1024*1024), 1024*1024) // 调整缓冲区适配大帧
    sampleDuration := time.Second / 30
    for scanner.Scan() {
        if err := videoTrack.WriteSample(media.Sample{
            Data:     scanner.Bytes(),
            Duration: sampleDuration,
        }); err != nil && err != io.ErrClosedPipe {
            break
        }
    }
}()

// ROS回调逻辑
sub, err := h.Subscribe(cam.TopicName, func(msg *sensor_msgs.Image) {
    throttler(func() {
        width := int(msg.Width)
        height := int(msg.Height)
        data := msg.Data
        
        // 直接构造RGBA字节流，跳过image.RGBA对象节省内存
        rgbaData := make([]byte, width*height*4)
        for i := 0; i < len(data); i += 3 {
            idx := i/3*4
            rgbaData[idx] = data[i]
            rgbaData[idx+1] = data[i+1]
            rgbaData[idx+2] = data[i+2]
            rgbaData[idx+3] = 255
        }
        
        // 写入FFmpeg标准输入
        if _, err := stdin.Write(rgbaData); err != nil {
            return
        }
    })
})

关键优化点 #

• 内存优化：替换原代码中低效的image.Set，直接操作字节切片或跳过image.RGBA对象，减少内存碎片和分配。
• 编码器复用：全局初始化编码器，避免每次回调重复创建资源。
• 帧率控制：确保throttler严格控制输出帧率（如30FPS），防止编码器过载。
• 错误处理：编码错误优先跳过当前帧，避免panic导致服务崩溃。

内容的提问来源于stack exchange，提问作者Anand Samuel