Coqui TTS/AudioTSM/PyDub间Numpy音频数组无失真内存传递方案问询

你的核心问题是浮点音频数组转PyDub AudioSegment时的格式处理错误，以及忽略了AudioTSM输出可能存在的数值溢出。下面提供两种无磁盘IO的解决方案：

方案一：手动修正数组转换（轻量推荐） #

失真的主要原因有两点：

1. AudioTSM处理后的浮点数组可能存在微小数值溢出（超出[-1.0, 1.0]范围），直接缩放会导致整数截断失真。
2. 转换int32时未同步修改sample_width参数（int32对应4字节，而非默认的2字节）。

修正后的代码：

import numpy as np
from pydub import AudioSegment

# 步骤1：对AudioTSM输出的浮点数组限幅，确保在标准音频范围[-1.0, 1.0]内
clamped_audio = np.clip(rate_adjusted.data, -1.0, 1.0)

# 步骤2：转换为16位PCM（和WavWriter默认输出格式一致，音质无损失）
# 16位PCM范围是[-32768, 32767]，对应缩放系数2^15
converted_audio = (clamped_audio * 32767).astype(np.int16).tobytes()

# 步骤3：初始化AudioSegment，参数匹配转换后的格式
processed_audio_segment = AudioSegment(
    converted_audio,
    frame_rate=sample_rate,
    sample_width=2,  # int16对应2字节
    channels=channels
)

# 后续处理/导出
processed_audio_segment.export('tts_output.wav', format='wav')

如果需要32位PCM格式（文件体积更大，但音质无提升），只需修改转换逻辑：

# 32位PCM范围是[-2147483648, 2147483647]
converted_audio = (clamped_audio * 2147483647).astype(np.int32).tobytes()

processed_audio_segment = AudioSegment(
    converted_audio,
    frame_rate=sample_rate,
    sample_width=4,  # int32对应4字节
    channels=channels
)

方案二：用内存缓冲区模拟WAV文件（零手动格式处理） #

如果你不想手动处理数组转换细节，可以用BytesIO在内存中模拟WAV文件写入/读取，完全复用WavWriter的正确格式转换逻辑，同时避免磁盘IO：

from io import BytesIO
from audiotsm.io.wav import WavWriter

# 创建内存缓冲区替代磁盘文件
buffer = BytesIO()
# 用WavWriter将处理后的音频写入缓冲区
with WavWriter(buffer, sample_rate, channels) as writer:
    tsm.run(reader, writer)
# 将缓冲区指针重置到开头，方便读取
buffer.seek(0)

# 直接从内存缓冲区加载为PyDub AudioSegment
processed_audio_segment = AudioSegment.from_wav(buffer)

# 后续处理/导出
processed_audio_segment.export('tts_output.wav', format='wav')

关键说明 #

• 16位PCM是语音处理的标准格式，完全能满足TTS音频的音质需求，和WavWriter导出的文件格式一致，不会出现体积差异。
• 限幅操作是必须的：音频处理算法（如WSOLA）可能产生微小的数值溢出，直接转换会导致严重失真。

内容的提问来源于stack exchange，提问作者Tessa Painter