关于VITS调用HiFi-GAN的输入差异及mel转换方法的问询

为什么VITS传给HiFi-GAN的输入不是标准Mel频谱？ #

VITS的架构和传统TTS（文本→Mel谱→声码器）完全不同：它通过Flow模块直接输出经过特征压缩与变换的高维隐向量，而非标准80维Mel频谱。这个隐向量是从Mel谱的概率分布中采样得到的，已经过归一化处理，所以直接绘制会呈现纯色，但包含了足够的音频特征信息，能让适配后的HiFi-GAN生成有效音频。

VITS仓库里的HiFi-GAN做了针对性修改：原版HiFi-GAN接收80维Mel谱，而VITS输出的隐向量维度通常是256维，因此修改了HiFi-GAN的输入层，使其适配高维隐向量输入。

无需转音频逆向转换，直接获取标准Mel频谱的方法 #

可以通过VITS内置的mel_normalizer模块做逆变换，步骤如下：

1. 在VITS生成流程中，找到传给HiFi-GAN的输入向量（即你看到的x），这个向量是VITS输出的隐向量z。
2. 调用mel_normalizer的逆方法还原标准Mel谱：

   # 假设model是训练好的VITS模型，z是传给HiFi-GAN的输入
   standard_mel = model.mel_normalizer.inverse(z)
   

3. 此时standard_mel就是可用于对比、绘制的标准Mel频谱，直接保存即可。

多模型Mel谱对比与声码器替换建议 #

• Mel谱保存：对VITS，在生成隐向量后、传入HiFi-GAN前，用上述方法还原并保存标准Mel谱；其他TTS模型直接保存生成的Mel谱，即可统一格式进行对比。
• 替换声码器：如果要使用原版HiFi-GAN或其他通用声码器（如WaveGlow），先通过mel_normalizer.inverse(z)将VITS的隐向量还原为标准Mel谱，再传入通用声码器生成音频即可。

内容的提问来源于stack exchange，提问作者user17952421