使用GStreamer实现播放音高调整及故障排查

问题概述 #

使用包含pitch组件的GStreamer管道播放音频时，仅能听到奇怪的咔哒声；移除pitch相关环节后，音频播放清晰正常。

生成端命令 #

gst-launch-1.0 -v filesrc location=morse.wav ! wavparse ! audioconvert ! audioresample ! rtpL16pay ! udpsink host=127.0.0.1 port=4000

接收端命令 #

gst-launch-1.0 audiomixer name=mixer udpsrc name=src0 uri=udp://127.0.0.1:4000 caps="application/x-rtp, media=(string)audio, clock-rate=(int)4000, encoding-name=(string)L16, encoding-params=(string)1, channels=(int)1, payload=(int)96" ! tee name=app ! queue ! rtpL16depay ! mixer.sink_0 udpsrc name=src1 uri=udp://127.0.0.1:5001 caps="application/x-rtp, media=(string)audio, clock-rate=(int)4000, encoding-name=(string)L16, encoding-params=(string)1, channels=(int)1, payload=(int)96" ! queue ! rtpL16depay !  mixer.sink_1 mixer. ! tee name=t ! queue ! audioconvert ! audioresample ! audiorate ! pitch pitch=1.0 !audiopanorama name=panorama panorama=-1.00 ! autoaudiosink name=audio_sink app. ! queue ! appsink name=asink emit-signals=True

需求：在Python程序中通过GStreamer完成更多配置，解决pitch组件的异常问题，实现正确的音高调整。

异常原因 #

1. 格式不兼容：pitch组件依赖浮点型音频样本（如audio/x-raw, format=F32LE）进行运算，但当前管道中，从rtpL16depay输出的是16位整型格式，即使经过audioconvert，若未明确指定格式，自动转换可能无法满足pitch的处理要求，导致异常。
2. 流同步问题：pitch是实时处理组件，需要稳定的缓冲区和时钟同步。当前管道中，若audiorate输出的流存在帧率波动、缓冲区不连续，pitch处理时会产生断帧，表现为咔哒声。
3. 参数不匹配：即使设置了pitch=1.0（无变调），pitch组件的默认参数（如tempo、rate）可能与当前音频流的采样率、通道数不匹配，引发处理错误。

正确调整音高的方案 #

1. 明确指定pitch的输入格式 #

在pitch前添加格式约束，强制输入为浮点型样本，处理完成后再转回适配后续组件的格式：

# 修改接收端管道中pitch环节的链路
mixer. ! tee name=t ! queue ! audioconvert ! audioresample ! audiorate ! audio/x-raw, format=F32LE ! pitch pitch=1.0 ! audioconvert ! audiopanorama name=panorama panorama=-1.00 ! autoaudiosink name=audio_sink

2. 优化缓冲区与同步配置 #

• 在pitch前后添加queue并设置合理的缓冲区大小，避免断流：

  ... ! audio/x-raw, format=F32LE ! queue max-size-time=100000000 ! pitch pitch=1.0 ! queue max-size-time=100000000 ! audioconvert ! ...
  

• 给audiorate添加固定采样率约束，保证输出流稳定：

  ... ! audiorate ! audio/x-raw, format=F32LE, rate=44100 ! ...
  

3. 确认pitch组件的官方要求 #

通过命令查看pitch的支持格式与参数，确保管道配置完全匹配：

gst-inspect-1.0 pitch

4. Python程序中的配置示例 #

在Python代码中构建管道时，通过Gst.Caps明确指定每个环节的格式，替代自动转换：

import gi
gi.require_version('Gst', '1.0')
from gi.repository import Gst

Gst.init(None)

# 初始化管道与元素
pipeline = Gst.Pipeline()
audiorate = Gst.ElementFactory.make("audiorate", "audiorate")
caps_filter = Gst.ElementFactory.make("capsfilter", "caps_filter")
pitch = Gst.ElementFactory.make("pitch", "pitch")

# 设置格式约束
caps = Gst.Caps.from_string("audio/x-raw, format=F32LE, rate=44100, channels=1")
caps_filter.set_property("caps", caps)

# 设置pitch参数
pitch.set_property("pitch", 1.2)  # 调整为1.2倍音高

# 添加元素并链接
pipeline.add(audiorate)
pipeline.add(caps_filter)
pipeline.add(pitch)

audiorate.link(caps_filter)
caps_filter.link(pitch)

内容的提问来源于stack exchange，提问作者Darron