TensorFlow Slim BatchNorm层未生成更新操作问题求助

我之前也碰到过一模一样的困扰，结合自己的排查经验和社区里的解决方案，给你几个方向试试：

• 先确认层的构建时机：tf.GraphKeys.UPDATE_OPS里的操作是在你调用slim.batch_norm构建层的时候就被添加进去的。如果你是在调用tf.get_collections之后才构建这个batch_norm层，那肯定拿不到任何操作。一定要保证先执行slim.batch_norm的代码，再去获取UPDATE_OPS集合。

• 检查updates_collections参数：虽然文档说默认是tf.GraphKeys.UPDATE_OPS，但说不定你不小心在调用时手动设置了updates_collections=None或者其他自定义集合。如果设成None，slim不会把更新操作加入任何集合，自然就查不到。可以检查下你的调用代码，确保没有改这个参数，或者显式指定：

  slim.batch_norm(inputs, is_training=True, updates_collections=tf.GraphKeys.UPDATE_OPS)
  

• 用极简代码验证：写个最小化的测试脚本，排除其他代码干扰，看看能不能正常获取UPDATE_OPS：

  import tensorflow as tf
  from tensorflow.contrib import slim
  
  tf.reset_default_graph()
  x = tf.placeholder(tf.float32, shape=[None, 10])
  # 构建batch norm层
  bn_out = slim.batch_norm(x, is_training=True)
  # 获取更新操作
  update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
  print(f"Number of update ops: {len(update_ops)}")  # 正常应该输出2
  

  如果这个脚本能正常输出2，说明你的主代码里有其他逻辑影响了图的集合，比如有没有重置过图、或者在构建层前清空过UPDATE_OPS？

• 训练时别忘了同步执行更新操作：就算你拿到了UPDATE_OPS，也要确保在训练时和优化器操作一起运行，不然moving_mean和moving_variance不会被更新。通常的做法是：

  loss = ... # 你的损失函数
  optimizer = tf.train.AdamOptimizer(learning_rate=0.001)
  train_step = optimizer.minimize(loss)
  # 让train_step依赖update_ops，保证先执行更新再训练
  with tf.control_dependencies(update_ops):
      train_step = tf.identity(train_step)
  

内容的提问来源于stack exchange，提问作者K.Wanter