调用Keras predict_on_batch时报Optimization loop failed错误如何解决

• 该警告来自TensorFlow 2.4及以上版本的tf.data流水线默认优化逻辑：当前代码短时间内交替调用predict_on_batch和fit接口，两个接口都会为输入临时创建独立的tf.data流水线，当前一个调用的后台优化线程还未执行完成时，后一个调用就销毁了前一个的上下文资源，就会触发Operation cancelled的警告。单步调试时两个接口的调用间隔被人为拉长，因此不会复现该问题。
• 你输入的是单批次小体量numpy数组，本身不需要tf.data做复杂的并行预取优化，新版本默认给所有预测/训练输入套流水线的逻辑属于不必要的开销，进一步放大了冲突概率。

• 最便捷的修复方式是替换predict_on_batch为模型直接调用的前向推理逻辑，不走predict相关的tf.data流水线：
  将代码中

  predicted_values = self.modelA.predict_on_batch(states_array)
  next_predicted_values = self.modelA.predict_on_batch(next_states_array)
  

  修改为

  predicted_values = self.modelA(states_array).numpy()
  next_predicted_values = self.modelA(next_states_array).numpy()
  

  该修改不仅能彻底消除警告，还能提升小批量推理的执行效率。
• 如果你需要保留predict_on_batch的用法，也可以全局关闭tf.data的冲突优化项，在代码初始化阶段加入：

  import tensorflow as tf
  tf.data.experimental.disable_optimizations(["map_and_batch_fusion", "prefetch_elimination"])
  

• 可选优化：给fit调用显式指定steps_per_epoch=1参数，告诉TensorFlow每次训练仅执行1个批次，不需要做多步流水线规划，也能降低冲突概率：

  self.modelA.fit(X, y, epochs=1, verbose=0, steps_per_epoch=1)
  

内容的提问来源于stack exchange，提问作者Bruce Nielson