歌声合成神经网络训练：梅尔频谱归一化技术推荐及问题求助

你的配置为n_fft=2048, hop_length=512, n_mels=80，原Whisper的归一化代码因依赖单样本最大值，无法稳定输出0-1区间的结果。以下是几种适配歌声合成训练的可靠方案：

1. 全局统计归一化（推荐用于批量训练） #

先预计算训练集所有梅尔频谱的全局均值和全局标准差，通过标准化将数据拉到均值为0、方差为1的分布，再线性缩放到0-1区间。这种方法能保证训练数据分布的一致性，避免单样本波动影响模型收敛。

预计算统计量（离线执行） #

import torch
from torch.utils.data import DataLoader

# 假设你的数据集返回mel_spec（shape: [n_mels, time_steps]）
def compute_global_stats(dataloader: DataLoader):
    mel_sum = torch.zeros(80)
    mel_sq_sum = torch.zeros(80)
    total_frames = 0

    for mel_spec in dataloader:
        # 假设mel_spec的shape是[batch, n_mels, time]
        batch_mel = mel_spec.flatten(1)  # [batch, n_mels*time]
        mel_sum += batch_mel.sum(dim=1).sum(dim=0)
        mel_sq_sum += (batch_mel ** 2).sum(dim=1).sum(dim=0)
        total_frames += batch_mel.numel() // 80

    mean = mel_sum / total_frames
    std = torch.sqrt((mel_sq_sum / total_frames) - (mean ** 2))
    return mean, std

# 保存统计量供训练时使用
# mean, std = compute_global_stats(train_dataloader)
# torch.save({"mean": mean, "std": std}, "mel_stats.pt")

训练时应用归一化 #

stats = torch.load("mel_stats.pt")
mean, std = stats["mean"], stats["std"]

def normalize_mel(mel_spec):
    # 先转log域（歌声合成通常用log梅尔频谱）
    log_mel = torch.clamp(mel_spec, min=1e-10).log10()
    # 标准化
    normalized = (log_mel - mean[:, None]) / (std[:, None] + 1e-8)
    # 缩放到0-1区间
    normalized = (normalized - normalized.min()) / (normalized.max() - normalized.min() + 1e-8)
    return normalized

2. 全局Min-Max归一化 #

直接使用训练集梅尔频谱（log域）的全局最小值和最大值，将所有样本线性映射到0-1区间。这种方法简单直接，适合对数据分布稳定性要求高的场景。

预计算全局Min/Max #

def compute_global_minmax(dataloader: DataLoader):
    global_min = torch.full((80,), float("inf"))
    global_max = torch.full((80,), -float("inf"))

    for mel_spec in dataloader:
        log_mel = torch.clamp(mel_spec, min=1e-10).log10()
        # 按mel维度取min/max
        batch_min = log_mel.min(dim=-1)[0].min(dim=0)[0]
        batch_max = log_mel.max(dim=-1)[0].max(dim=0)[0]
        global_min = torch.min(global_min, batch_min)
        global_max = torch.max(global_max, batch_max)
    return global_min, global_max

# 保存
# global_min, global_max = compute_global_minmax(train_dataloader)
# torch.save({"min": global_min, "max": global_max}, "mel_minmax.pt")

训练时应用 #

minmax_stats = torch.load("mel_minmax.pt")
global_min, global_max = minmax_stats["min"], minmax_stats["max"]

def normalize_mel(mel_spec):
    log_mel = torch.clamp(mel_spec, min=1e-10).log10()
    # 映射到0-1
    normalized = (log_mel - global_min[:, None]) / (global_max[:, None] - global_min[:, None] + 1e-8)
    # 确保不会超出范围
    normalized = torch.clamp(normalized, 0.0, 1.0)
    return normalized

3. 改进版单样本Log域归一化 #

如果不想依赖全局统计量，可调整原Whisper代码的逻辑，强制将单样本的log梅尔频谱缩放到0-1区间：

def normalize_mel(mel_spec):
    log_spec = torch.clamp(mel_spec, min=1e-10).log10()
    # 截断到合理范围（比如取样本内max-6，避免极端值）
    log_spec = torch.maximum(log_spec, log_spec.max() - 6.0)
    # 缩放到0-1
    log_spec = (log_spec - log_spec.min()) / (log_spec.max() - log_spec.min() + 1e-8)
    return log_spec

这种方法适合小数据集或快速迭代，但不同样本的分布差异可能较大，模型收敛速度可能不如全局统计方法。

内容的提问来源于stack exchange，提问作者Basir Mahmood