Keras调用.fit()方法时损失函数触发次数与调用时机问题
自定义损失函数仅在训练启动时打印的原因
- Keras默认使用TensorFlow静态计算图机制运行训练流程:你编写的自定义损失函数本质是计算图的结构描述代码,仅会在
model.fit()启动前的图构建阶段被Python解释器执行,你看到的两次打印对应训练步、验证步的损失计算子图构建过程。 - 计算图构建完成后,所有batch的前向传播、损失计算、反向传播都会在TensorFlow的C++ runtime中执行编译好的静态图,不会再调用Python层面的损失函数代码,因此后续不会产生新的打印日志。Python原生
print的执行次数和损失是否实际参与计算没有对应关系,你可以通过fit输出的loss动态变化确认损失计算正常运行。 - 如果需要在每个batch的损失计算阶段输出日志,使用TensorFlow原生算子
tf.print()替代Python原生print即可,tf.print()会被编入静态图节点,每次计算损失时都会触发输出。
Keras损失函数的调用/触发时机
分两种运行模式区分:
静态图模式(默认模式)
- 图构建阶段:
model.compile()调用后到model.fit()首次执行前,损失函数会被Python侧调用1~2次,用于生成训练、验证流程对应的损失计算子图,此时传入函数的是无实际值的Tensor占位符,不会执行真实数值计算。 - 图执行阶段:每个batch训练/验证时,已经编译完成的损失计算子图会在TensorFlow runtime中直接执行,不会触发Python侧的损失函数代码调用,数值计算全程在静态图内完成。
动态图(Eager Execution)模式
- 如果在
model.compile()时传入run_eagerly=True参数,Keras会关闭静态图优化,每次训练/验证batch都会直接调用Python侧的损失函数执行数值计算,此时Python原生print也会在每个batch触发输出。该模式适合调试代码,缺点是训练效率远低于静态图模式。
内容的提问来源于stack exchange,提问作者Rahul
相关产品推荐
相关产品推荐

