使用TensorFlow Supervisor编写摘要引发图重评估及可复现性问题咨询

最近踩了个TensorFlow的坑，必须分享给大家：用普通方式写摘要只会额外评估一次计算图，但如果用tf.train.Supervisor来处理摘要，它会重新评估整个计算图——这会直接打乱随机操作的状态，彻底破坏实验的可复现性！

问题根源 #

当你设置了图级随机种子（比如tf.set_random_seed(42)），本来预期每次运行随机操作都会生成可预测的序列，但tf.train.Supervisor在处理摘要时，会偷偷多跑一遍计算图里的操作（包括你的随机生成op）。这就相当于随机状态被提前“推进”了一步，后续生成的随机数自然和预期不符。

示例代码验证 #

我写了个简单的例子，对比两种方式的随机数生成结果：

import tensorflow as tf

# 实验次数
N = 5

# 第一个计算图：不使用Supervisor
graph_no_supervisor = tf.Graph()
with graph_no_supervisor.as_default():
    tf.set_random_seed(42)
    rand_num = tf.random_uniform(shape=(), minval=0, maxval=10, dtype=tf.int32)
    summary = tf.summary.scalar("random_number", rand_num)
    init = tf.global_variables_initializer()

# 第二个计算图：使用Supervisor
graph_with_supervisor = tf.Graph()
with graph_with_supervisor.as_default():
    tf.set_random_seed(42)
    rand_num = tf.random_uniform(shape=(), minval=0, maxval=10, dtype=tf.int32)
    summary = tf.summary.scalar("random_number", rand_num)
    init = tf.global_variables_initializer()
    supervisor = tf.train.Supervisor(graph=graph_with_supervisor, init_op=init)

# 测试无Supervisor的情况
print("=== 无Supervisor的随机数序列 ===")
with tf.Session(graph=graph_no_supervisor) as sess:
    sess.run(init)
    for _ in range(N):
        num = sess.run(rand_num)
        print(num)

# 测试有Supervisor的情况
print("\n=== 有Supervisor的随机数序列 ===")
with supervisor.managed_session() as sess:
    for _ in range(N):
        num = sess.run(rand_num)
        print(num)

运行结果差异 #

你会发现，无Supervisor的序列是可预测的（比如1, 7, 2, 9, 7），但用了Supervisor的序列会变成另一个完全不同的序列——因为Supervisor在启动会话时，已经自动评估了一次rand_num来生成摘要，导致后续的随机状态已经被改变了。

避坑建议 #

如果你的实验依赖随机状态的可复现性，尽量避免用tf.train.Supervisor自动处理摘要：

• 手动控制摘要的评估时机，不要让Supervisor隐式触发计算图重复评估
• 将随机生成操作和摘要操作解耦，比如先计算出随机值，再将其传入摘要op，避免重复执行随机操作
• 或者手动管理随机状态，在每次实验前重置随机种子和状态

内容的提问来源于stack exchange，提问作者Safoora Yousefi