TensorFlow训练损失为NaN、转TFLite后推理输出全NaN问题求助
问题根源
你遇到的全NaN输出问题的核心原因是模型在训练阶段就已经出现参数失效,和TensorFlow Lite转换、推理逻辑无关:训练全程损失为NaN,说明模型参数已经全部变成无效值,后续不管怎么转换、推理,输出必然都是NaN。此外你代码中还存在文件名不匹配的低级错误。
修复步骤
1. 优先修复训练阶段NaN问题
按顺序排查以下问题:
- 先验证训练数据合法性,确认数据集无脏数据:
print(np.isnan(x_train).any(), np.isnan(y_train).any())
正常MNIST数据集输出应为两个False,如果输出True需要重新加载数据集。
- 降低优化器学习率+增加梯度裁剪,避免梯度爆炸导致参数变为NaN:
model.compile( optimizer=tf.keras.optimizers.Adam(learning_rate=1e-4, clipnorm=1.0), loss=loss_fn, metrics=['accuracy'] )
- 排查GPU环境兼容问题:如果你用的是GPU版本的TensorFlow 2.3.0,CUDA、cuDNN版本不匹配是高频导致训练NaN的原因,可以在代码最开头增加配置强制用CPU训练验证:
import os os.environ["CUDA_VISIBLE_DEVICES"] = "-1"
如果CPU训练损失、准确率恢复正常,就重新安装和TF 2.3.0版本匹配的CUDA、cuDNN即可。
2. 修正文件名不匹配错误
你转换TFLite模型时保存的文件名为newmodel.tflite,但推理阶段加载的是model.tflite,就算你训练出了正常的模型,也会因为加载错误的旧模型文件得到异常输出,修改推理代码的加载路径即可:
interpreter = tf.lite.Interpreter("newmodel.tflite")
3. 验证全流程
修复训练问题后,先确认模型评估输出正常:MNIST训练5个epoch准确率应在97%以上,损失在0.1左右,确认正常后再进行TFLite转换、推理即可得到正常结果。
内容的提问来源于stack exchange,提问作者Jayanta Banik
相关产品推荐
相关产品推荐

