微调Qwen3-TTS-12Hz-1.7B-Base适配孟加拉语：口音偏差与自然度问题

微调背景 #

使用单说话者约7小时孟加拉语数据集微调Qwen3-TTS-12Hz-1.7B-Base模型，后续计划用150+小时多说话者数据训练。推理采用custom_voice函数，微调时打了若干补丁后成功运行，模型能生成孟加拉语语音，但带印地语/外语口音，韵律受印地语影响，不符合母语者特征。

数据集详情 #

• 语言：孟加拉语
• 规模：约7小时
• 样本量：8k+
• 说话者：单孟加拉语女性
• 文本格式：孟加拉语字母及标点
• 音频编码：通过Qwen3 TTS分词器生成

尝试过IPA/罗马化音素输入，虽降低了印地语口音，但语音更机械，暂搁置该方案。

训练配置 #

• 基础模型：Qwen3-TTS-12Hz-1.7B-Base
• 说话者名称：bengali_female
• GPU：RTX 3090
• 批次大小：2
• 学习率：2e-6
• 高学习率应用层：文本嵌入、编码嵌入、部分上层/适配层（目标为强化孟加拉语口音、语调与韵律适配）
• 训练轮次：10
• 预热占比：3%
• 调度器：Sequential Linear
• 验证集比例：0.01
• 推理语言：Auto

观测行为 #

• 初始训练损失正常下降，2-3轮后损失停滞，语音质量无明显提升，继续训练部分情况会导致质量下降
• 模型可生成孟加拉语语音，但发音存在问题，核心是口音非母语孟加拉语，韵律、节奏与说话风格更接近印地语，自然度不足

技术问题解答 #

1. Qwen3-TTS基础模型是否存在印地语/印度语系韵律先验偏差？ #

是的，Qwen3-TTS-12Hz-1.7B-Base的训练数据大概率包含大量印地语或印度语系语言样本，加上底层LLM可能存在印地语文本分布偏差，而孟加拉语与印地语在脚本、语音特征上有重叠，模型会默认将孟加拉语文本映射到已学习的印地语韵律模式，这是导致口音偏移的核心原因之一。

2. 如何强化孟加拉语口音适配与自然韵律？ #

• 层选择与学习率策略：针对文本编码器的音素/字符嵌入层、韵律预测相关的上层Transformer层，设置更高的学习率（比如5e-6~1e-5），冻结底层声学合成层避免破坏基础音质；同时采用分层学习率，越靠近文本输入的层学习率越高，强化语言特征的覆盖。
• 数据增强：对孟加拉语音频添加轻微的语速、语调扰动，丰富韵律多样性；同时补充孟加拉语母语者的韵律标注数据（如停顿位置、重音标记），直接引导模型学习目标韵律。
• 训练轮次调整：当前2-3轮后损失停滞，说明小数据集已过拟合，可提前停止训练（比如2轮），或加入更多数据后再延长轮次；采用早停策略，以验证集的自然度评分而非损失作为停止依据。

3. 微调与推理阶段是否需要添加<lang:bn>语言标签？ #

非常有必要。在微调的文本前缀添加<lang:bn>，推理时也在输入文本前带上该标签，能明确告知模型当前处理的是孟加拉语，有效区分印地语先验模式，降低口音混淆。建议将标签作为固定前缀加入所有训练样本的文本中。

4. 低资源/未支持语言的微调参数与指南 #

• 数据集优先级：优先保证数据质量，选择母语者清晰、自然的录音，避免机械朗读的样本；若数据量小，可采用数据增强（如时域扰动、语速调整）扩充有效样本。
• 学习率设置：整体学习率偏低（1e-6~3e-6），但针对语言相关层（文本嵌入、韵律预测层）设置2-3倍的分层学习率，既保护模型基础能力，又强化目标语言特征。
• 训练策略：采用小批次、多轮预热（比如5%~10%），避免模型快速过拟合；使用验证集监控语音自然度与口音准确性，而非仅看损失值。

5. 孟加拉语G2P/音素方案及混合策略 #

• 推荐G2P工具：使用孟加拉语专用的G2P工具，相比通用IPA/罗马化，能更精准匹配孟加拉语的发音规则。
• 混合方案：采用"原生文本为主，音素辅助"的混合输入模式——大部分样本用孟加拉语原生文本，抽取10%~20%的样本标注音素，同时输入模型，既保留自然度，又纠正发音偏差。训练时给音素输入样本设置略高的权重，强化发音准确性。

数据集准备与文本归一化指导 #

• 文本归一化：统一孟加拉语标点格式，处理特殊字符（如数字、外来词），将数字转为孟加拉语写法，外来词转写为符合孟加拉语发音的形式，避免模型误映射到印地语发音。
• 数据筛选：剔除背景噪声大、发音模糊的样本；标注每个样本的韵律特征（如停顿、重音），作为辅助输入引导模型学习母语韵律。
• 多说话者数据处理：后续150+小时多说话者数据需按说话者分组，标注说话者标签，训练时加入说话者嵌入，增强模型对不同母语者韵律的学习能力。

内容的提问来源于stack exchange，提问作者Kawshik Kumar Paul