使用新数据集训练Tacotron2时出现embedding.weight尺寸不匹配错误

问题核心 #

预训练模型的词表大小（148）与新数据集的词表大小（88）不一致，导致Tacotron2的embedding.weight层维度不匹配，无法正常加载预训练权重。

解决方案 #

1. 对齐词表配置 #

• 找到训练代码中的词表配置文件（如hparams.py或独立的vocab文件），将新数据集的词表大小修改为148，和预训练模型保持一致。
• 或者导出预训练模型使用的词表，替换新数据集的词表文件，确保两者字符/音素集合完全匹配。

2. 手动加载部分预训练权重 #

若需要保留新数据集的词表，可过滤或截取不匹配的权重后再加载：

import torch

# 加载预训练权重文件
pretrained_weights = torch.load('/content/tacotron2/pretrained_model')
current_model_weights = model.state_dict()

# 方案一：跳过embedding层，加载其他匹配的权重
filtered_weights = {k: v for k, v in pretrained_weights.items() if k != 'embedding.weight'}
current_model_weights.update(filtered_weights)
model.load_state_dict(current_model_weights, strict=False)

# 方案二：截取预训练权重的前88行（仅当新词表是旧词表的子集且顺序一致时可用）
# pretrained_weights['embedding.weight'] = pretrained_weights['embedding.weight'][:88, :]
# model.load_state_dict(pretrained_weights, strict=False)

3. 关闭热启动，从头训练 #

如果新数据集与预训练模型的应用场景差异较大，直接设置warm_start=False，放弃预训练权重，从头开始训练模型。

内容的提问来源于stack exchange，提问作者Muhammad