DeepSpeech训练时报Failed to call ThenRnnForward错误如何解决？

错误产生原因 #

该错误是训练时调用CuDNN加速LSTM接口失败触发的内部错误，核心诱因有三类：

• 版本不兼容：当前环境的CUDA、CuDNN版本和DeepSpeech依赖的TensorFlow版本不匹配，不同版本的CuDNN对RNN接口的传参规则、支持的配置范围有差异，不符合规则就会触发调用失败。
• 显存不足：你配置的隐藏层维度2048、训练批次大小64加上单条数据最大序列长度798，整体计算所需显存超出了当前GPU的可用显存上限，也会引发CuDNN RNN的内部执行报错。
• 硬件适配问题：部分老旧或特殊型号的NVIDIA GPU不支持当前版本CuDNN提供的快速LSTM实现，开启--train_cudnn True参数后强制调用该实现就会触发报错。

修复方案 #

你可以按优先级依次尝试以下方案：

• 调整批次大小：将命令中的--train_batch_size 64调低为16或32，同步调低--dev_batch_size和--test_batch_size，优先验证是否为显存不足导致的问题。
• 关闭CuDNN加速：如果调整批次大小无效，将命令中的--train_cudnn True修改为--train_cudnn False，使用TensorFlow原生LSTM实现替代CuDNN加速实现，兼容性更高，仅会损失部分训练速度。
• 对齐依赖版本：按照你使用的DeepSpeech版本官方要求的版本范围，重新安装匹配的TensorFlow、CUDA、CuDNN版本，保证三方版本完全兼容。
• 降低模型规模：如果当前GPU显存小于16G，可将--n_hidden 2048调低为1024，减少模型运行时的显存占用。

内容的提问来源于stack exchange，提问作者Danish Bansal