You need to enable JavaScript to run this app. TensorFlow训练损失为NaN、转TFLite后推理输出全NaN问题求助
优惠活动
大模型
产品
解决方案
定价
更多

TensorFlow训练损失为NaN、转TFLite后推理输出全NaN问题求助

问题根源

你遇到的全NaN输出问题的核心原因是模型在训练阶段就已经出现参数失效,和TensorFlow Lite转换、推理逻辑无关:训练全程损失为NaN,说明模型参数已经全部变成无效值,后续不管怎么转换、推理,输出必然都是NaN。此外你代码中还存在文件名不匹配的低级错误。

修复步骤

1. 优先修复训练阶段NaN问题

按顺序排查以下问题:

  • 先验证训练数据合法性,确认数据集无脏数据:
print(np.isnan(x_train).any(), np.isnan(y_train).any())

正常MNIST数据集输出应为两个False,如果输出True需要重新加载数据集。

  • 降低优化器学习率+增加梯度裁剪,避免梯度爆炸导致参数变为NaN:
model.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=1e-4, clipnorm=1.0),
    loss=loss_fn,
    metrics=['accuracy']
)
  • 排查GPU环境兼容问题:如果你用的是GPU版本的TensorFlow 2.3.0,CUDA、cuDNN版本不匹配是高频导致训练NaN的原因,可以在代码最开头增加配置强制用CPU训练验证:
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "-1"

如果CPU训练损失、准确率恢复正常,就重新安装和TF 2.3.0版本匹配的CUDA、cuDNN即可。

2. 修正文件名不匹配错误

你转换TFLite模型时保存的文件名为newmodel.tflite,但推理阶段加载的是model.tflite,就算你训练出了正常的模型,也会因为加载错误的旧模型文件得到异常输出,修改推理代码的加载路径即可:

interpreter = tf.lite.Interpreter("newmodel.tflite")

3. 验证全流程

修复训练问题后,先确认模型评估输出正常:MNIST训练5个epoch准确率应在97%以上,损失在0.1左右,确认正常后再进行TFLite转换、推理即可得到正常结果。

内容的提问来源于stack exchange,提问作者Jayanta Banik

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.13 04:54:02