如何修改gst-launch-1.0管道实现fb2视频输出时同步播放音频

你原管道只连接了解复用后的视频链路，没有处理音频分支，有两种可直接运行的实现方式：

方案1：基于playbin自定义视频输出（推荐） #

playbin会自动完成解复用、编码匹配、音视频同步的全部逻辑，你只需要通过video-sink参数指定视频输出到fb2对应的sink即可，音频会默认输出到系统音频设备，和你之前能正常播放音视频的playbin逻辑完全一致：

gst-launch-1.0 playbin uri=file:///usr/share/myfile.mp4 video-sink="imxipuvideosink framebuffer=/dev/fb2"

这个方案无需手动适配音视频编码格式，适配性最好，出错概率最低。

方案2：手动拼接完整音视频管道 #

如果需要自定义管道节点逻辑，可以手动给qtdemux分离音视频两个分支，注意qtdemux是动态输出pad，需要通过name属性引出不同流的端口：

gst-launch-1.0 filesrc location='/usr/share/myfile.mp4' ! qtdemux name=demux \
demux.video_0 ! queue ! h264parse ! imxvpudec ! imxipuvideosink framebuffer=/dev/fb2 \
demux.audio_0 ! queue ! aacparse ! imxauddec ! alsasink

管道说明 #

• 音视频分支都添加queue节点，用于创建独立处理线程、缓冲数据，保障音视频同步不会互相阻塞
• 上述音频链路适配MP4最常见的AAC编码格式，如果你的文件是其他音频编码，替换对应解析、解码节点即可（比如MP3编码替换为mpegaudioparse ! imxmp3dec）
• 如果需要指定音频输出设备，可以给alsasink添加device参数，例如alsasink device=hw:0,0，参数值对应你系统的声卡设备节点。

内容的提问来源于stack exchange，提问作者Martyn Bell