基于RNN的文本转语音模型训练遇Graph执行错误求助

一、解决训练阶段的NotFoundError错误 #

该错误由TensorFlow的XLA加速与GPU平台不兼容导致，可通过以下方式解决：

• 直接禁用XLA加速，在代码开头添加：

import tensorflow as tf
tf.config.optimizer.set_jit(False)

• 若GPU配置存在问题，强制切换到CPU训练：

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "-1"

• 检查环境适配性：从路径看你使用的是Apple Silicon设备，需确保安装的是适配M系列芯片的TensorFlow版本（tensorflow-macos + tensorflow-metal），避免版本不匹配问题。

二、修复代码语法错误 #

你的pad_sequences调用存在换行语法问题，导致函数未被正确执行，修正后代码如下：

# Pad the speech features to the same length
max_speech_feature_length = max([len(feature) for feature in speech_features])
# 修正函数调用格式，确保参数传递正确
padded_speech_features = tf.keras.preprocessing.sequence.pad_sequences(
    speech_features, maxlen=max_speech_feature_length, padding='post', value=0.0, dtype='float32'
)
input_shape = (max_sequence_length,)

model = tf.keras.models.Sequential([
    tf.keras.layers.Embedding(num_chars+1, 32, input_length=max_sequence_length),
    tf.keras.layers.LSTM(128),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(max_speech_feature_length)
])

adam = tf.keras.optimizers.Adam(learning_rate=0.001)  # 调低学习率，避免训练不稳定
model.compile(loss='mse', optimizer=adam)  # 移除accuracy指标，回归任务无意义
model.fit(padded_text_sequences, padded_speech_features, epochs=100)

三、解决生成音频为杂音的问题 #

1. 数据集规模不足：仅6个样本无法让模型学习到文本与语音特征的映射规律，需扩充数据集至至少数百条标注样本。
2. 模型结构不合理：
   • 当前模型是单方向序列映射，无法处理文本到语音的序列到序列转换需求，需改用带编码器-解码器结构的Seq2Seq模型，或加入注意力机制。
   • 语音特征通常为二维结构（时间步×特征维度，如MFCC的n步×13维），当前模型输出为一维，需调整最后一层输出形状匹配语音特征维度。
3. 特征处理问题：
   • 确保语音特征提取正确，优先使用MFCC、梅尔频谱等高级特征，而非原始音频波形（原始波形难以通过MSE训练出有效映射）。
   • 检查文本序列预处理流程，保证padded_text_sequences维度与模型输入要求一致。
4. 训练参数优化：
   • 学习率0.01过高，建议调低至0.001或更小，避免训练震荡。
   • 可尝试使用MAE损失函数，对异常值的鲁棒性更强。

内容的提问来源于stack exchange，提问作者Eben Akolly