如何将mel spectrogram（梅尔频谱图）转换为WAV格式音频文件

方案1：TensorFlow 生态实现（与你现有转换逻辑兼容性最优） #

你之前用TensorFlow IO做的正向转换，用同生态接口反转可以完全对齐参数，避免兼容性问题：

import tensorflow as tf
import tensorflow_io as tfio

# 注意：以下所有参数必须和你正向转梅尔谱时的参数完全一致
SAMPLE_RATE = 16000
N_FFT = 1024
HOP_LENGTH = 256
WIN_LENGTH = 1024
N_MELS = 80
F_MIN = 0
F_MAX = 8000

# 第一步：如果你之前对梅尔谱做了对数转换，先反转回线性梅尔谱
# 假设你的log_mel_spectrogram是当前要反转的对数梅尔谱
mel_spectrogram = tf.math.exp(log_mel_spectrogram) - 1e-6 # 对应正向的log(1 + mel)操作，根据你自己的正向缩放逻辑调整

# 第二步：创建梅尔滤波器矩阵，和正向转换用的矩阵完全一致
mel_filterbank = tf.signal.linear_to_mel_weight_matrix(
    num_mel_bins=N_MELS,
    num_spectrogram_bins=N_FFT // 2 + 1,
    sample_rate=SAMPLE_RATE,
    lower_edge_hertz=F_MIN,
    upper_edge_hertz=F_MAX,
)

# 第三步：梅尔谱转线性STFT幅度谱
stft_magnitude = tf.matmul(mel_spectrogram, tf.linalg.pinv(mel_filterbank), transpose_b=True)
stft_magnitude = tf.maximum(stft_magnitude, 1e-6) # 避免数值问题

# 第四步：用Griffin-Lim算法重建时域音频
audio = tfio.audio.griffin_lim(
    stft_magnitude,
    fft_length=N_FFT,
    hop_length=HOP_LENGTH,
    win_length=WIN_LENGTH,
    iterations=50 # 迭代次数越高音质越好，速度越慢，一般30-100足够
)

# 保存为WAV文件
audio = tf.cast(audio * 32767, tf.int16) # 转16位PCM格式
tf.io.write_file("reconstructed.wav", tfio.audio.encode_wav(audio, SAMPLE_RATE))

方案2：Librosa实现（离线调试验证更便捷） #

如果你需要做离线调试、参数快速验证，用Librosa的成熟接口实现更简单：

import librosa
import soundfile as sf
import numpy as np

# 同样所有参数和正向转换完全对齐
SAMPLE_RATE = 16000
N_FFT = 1024
HOP_LENGTH = 256
WIN_LENGTH = 1024
N_MELS = 80
F_MIN = 0
F_MAX = 8000

# 先反归一化/反对数转换回到原始线性梅尔谱
mel_spectrogram = np.exp(log_mel_spectrogram) - 1e-6

# 逆梅尔变换转线性幅度谱
stft_magnitude = librosa.feature.inverse.mel_to_stft(
    mel_spectrogram,
    sr=SAMPLE_RATE,
    n_fft=N_FFT,
    fmin=F_MIN,
    fmax=F_MAX,
    power=1 # 如果你正向计算的是能量谱填2，幅度谱填1
)

# Griffin-Lim重建音频
audio = librosa.griffinlim(
    stft_magnitude,
    n_fft=N_FFT,
    hop_length=HOP_LENGTH,
    win_length=WIN_LENGTH,
    n_iter=50
)

# 保存WAV
sf.write("reconstructed.wav", audio, SAMPLE_RATE)

核心注意事项 #

• 反转所有参数必须和正向转换完全一致：包括采样率、STFT相关参数、梅尔滤波器参数、以及你对梅尔谱做的所有前置处理（对数缩放、归一化、标准化等），参数不匹配会导致重建音频完全失真
• 常规梅尔谱仅存储幅度信息无相位信息，Griffin-Lim重建属于近似结果，会有少量音质损失。如果你的任务可以保存正向转换时的相位矩阵，直接结合相位做逆STFT即可得到无损重建结果
• 如果你使用的是生成模型输出的梅尔谱，建议先把输出值裁剪到正常梅尔谱的数值范围内再做反转，避免数值异常导致的爆音

内容的提问来源于stack exchange，提问作者GKV