Python实现8kHz转16kHz音频上采样的优质库/方法咨询

当前实现效果差的原因 #

你当前使用的scipy.signal.resample基于FFT实现，没有针对语音信号的时域特性做优化，处理带限的电话音频时容易产生振铃伪影、高频失真；同时直接对int16格式的原始音频做重采样、没有配套抗混叠和量化优化，也会进一步降低音质。

推荐优化方案 #

无额外依赖的原生优化 #

如果你不想引入新的第三方库，直接替换重采样方法即可获得明显提升：

• 用scipy.signal.resample_poly替代scipy.signal.resample，前者基于多相滤波实现，自带抗混叠滤波，针对你这种2倍整数上采样的场景适配性更好，误差更低，示例代码：

from scipy import signal
import numpy as np

input_rate = 8000
wished_rate = 16000
audio_array = np.fromstring(string=string_of_bytes, dtype=np.int16)
# 整数倍上采样直接指定上下采样倍率，避免长度计算误差
resampled_audio = signal.resample_poly(audio_array, up=wished_rate//input_rate, down=1)

专业音频处理库方案 #

如果可以引入额外依赖，优先选择专门针对音频优化的重采样工具：

• librosa：最常用的Python音频处理库，重采样采用Kaiser窗口优化的多相滤波，抗混叠效果更优，针对语音场景做了默认参数适配，示例代码：

import librosa
import numpy as np

input_rate = 8000
wished_rate = 16000
# 先将int16格式转为音频处理通用的[-1, 1]浮点格式，避免数值溢出和失真
audio_array = np.fromstring(string=string_of_bytes, dtype=np.int16).astype(np.float32) / 32768.0
resampled_audio = librosa.resample(audio_array, orig_sr=input_rate, target_sr=wished_rate)
# 需要转回int16格式时执行如下逻辑
resampled_audio_int16 = (np.clip(resampled_audio, -1, 1) * 32768.0).astype(np.int16)

• pysox：封装了专业音频处理工具SoX的Python接口，支持自定义滤波参数、抖动处理，是工业界常用的音频重采样工具，电话语音场景下可以开启抖动参数降低量化噪声，示例代码：

import sox
import numpy as np

input_rate = 8000
wished_rate = 16000
audio_array = np.fromstring(string=string_of_bytes, dtype=np.int16)
tfm = sox.Transformer()
# 开启三角抖动减少量化失真
tfm.set_globals(dither='triangular')
tfm.set_output_format(rate=wished_rate, bits=16, channels=1)
resampled_audio = tfm.build_array(input_array=audio_array, sample_rate_in=input_rate)

高音质需求的AI超分方案 #

如果需要还原电话音频丢失的高频细节、进一步提升清晰度，可以采用专门针对语音训练的上采样超分模型：

• 轻量场景可选用RNNoise附带的8kHz转16kHz上采样模块，计算量极低，同时可以顺带抑制电话线路噪声
• 对音质要求更高的场景可选用预训练的语音上采样模型，能还原更多辅音细节，显著提升可懂度

额外优化注意点 #

• 电话音频通常带限在300~3400Hz，重采样前先做带通滤波滤除带外噪声，可以进一步提升输出音质
• 如果原始音频是A-law/Mu-law编码的电话格式，不要直接转成PCM就重采样，先完成对应的线性解码再处理，避免额外失真
• 重采样后转回int16格式时，建议增加数值裁剪逻辑，避免溢出导致的爆音

内容的提问来源于stack exchange，提问作者busy