如何基于已有音频与转录文本训练意大利语Tortoise-TTS？

一、文件目录与数据准备 #

1. 在Tortoise-TTS项目根目录下，创建意大利语数据专用目录：
   • data/italian/audio_clips/：存放小于60秒（注：你提到的“60比特”应为笔误，符合原项目训练要求的是60秒内）的意大利语音频片段，推荐格式为单声道24000Hz的WAV文件，文件名可按clip_001.wav这类规则命名。
   • data/italian/transcriptions.csv：创建转录文本对照表，格式为文件名,对应意大利语转录文本，示例：

     clip_001.wav,Questa è una frase di esempio in italiano.
     clip_002.wav,Il sistema di sintesi vocale funziona bene.
     

2. 若音频不符合单声道/24000Hz要求，可用FFmpeg转码：

   ffmpeg -i 原音频文件.mp3 -ac 1 -ar 24000 目标文件名.wav
   

二、预处理音频特征 #

运行项目内置脚本，将音频转换为模型可读取的梅尔频谱特征：

python scripts/extract_features.py --data_dir data/italian/audio_clips/ --output_dir data/italian/processed/

处理后的特征文件会自动存入data/italian/processed/目录。

三、第一阶段：纯音频预训练 #

先基于无文本的音频片段训练模型的语音表征能力：

1. 复制并修改预训练配置文件：复制configs/training/pretrain.json为configs/training/pretrain_italian.json，修改核心字段：
   • "dataset": "italian"
   • "data_dir": "data/italian/processed/"
   • 根据你的GPU显存调整"batch_size"（默认8，显存不足可改为4）
2. 启动预训练：

python train.py --config configs/training/pretrain_italian.json

训练过程中，模型检查点会保存在results/pretrain_italian/目录下，建议训练至少20个epoch后进入下一阶段。

四、第二阶段：结合转录文本的微调 #

用带标注的数据训练文本到语音的映射能力：

1. 复制并修改微调配置文件：复制configs/training/finetune.json为configs/training/finetune_italian.json，修改核心字段：
   • "dataset": "italian"
   • "data_dir": "data/italian/"
   • "pretrained_model_path": "results/pretrain_italian/checkpoint_epoch_20.pth"（替换为你实际保存的预训练检查点路径）
   • 同样按需调整"batch_size"和训练轮数"epochs"
2. 启动微调训练：

python train.py --config configs/training/finetune_italian.json

最终训练完成的模型会保存在results/finetune_italian/目录下。

五、测试生成效果 #

训练完成后，用以下命令测试意大利语语音生成：

python scripts/tortoise_tts.py --text "Ciao, questo è un test della sintesi vocale italiana." --model_path results/finetune_italian/checkpoint_final.pth --voice italian

内容的提问来源于stack exchange，提问作者solidsnake777999999