如何重置TensorFlow中的所有图？多图场景超参数搜索需求问询

嘿，这个问题我在做CNN超参数搜索的时候也踩过坑！tf.reset_default_graph()确实只对默认图生效，当你手动创建了多个tf.Graph对象时，它根本管不着这些独立图。下面给你几个实用的解决方案，完美适配超参数搜索的场景：

1. 为每组超参数创建临时独立图（最推荐） #

直接在循环里用with tf.Graph().as_default()上下文，为每组超参数新建一个图，上下文结束后这个图会自动脱离作用域，没有引用的话就会被Python垃圾回收机制清理掉，完全不会和其他组的图冲突：

# 假设hyperparams是你的超参数列表，每个元素是一组参数配置
for hyperparams in hyperparameter_list:
    # 为当前超参数组创建全新的图
    with tf.Graph().as_default() as current_graph:
        # 所有模型构建、训练的代码都放在这个上下文里
        # 比如构建CNN模型
        input_layer = tf.keras.layers.Input(shape=(28,28,1))
        conv1 = tf.keras.layers.Conv2D(filters=hyperparams['conv1_filters'], kernel_size=3, activation='relu')(input_layer)
        # ... 其他层定义 ...
        output_layer = tf.keras.layers.Dense(10, activation='softmax')(flatten_layer)
        model = tf.keras.Model(inputs=input_layer, outputs=output_layer)
        
        # 编译并训练
        model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=hyperparams['lr']),
                      loss='sparse_categorical_crossentropy',
                      metrics=['accuracy'])
        model.fit(train_data, train_labels, epochs=hyperparams['epochs'])
    # 离开with块后，current_graph不再被引用，会被自动回收

这种方式最省心，不需要手动管理图的销毁，每组超参数的图都是完全独立的。

2. 手动管理图和会话的生命周期 #

如果你需要保留图的引用做后续分析（比如可视化），那就要手动关闭会话并释放图的引用：

graphs = []  # 如果需要保存部分图的话
for hyperparams in hyperparameter_list:
    # 创建新图
    current_graph = tf.Graph()
    with current_graph.as_default():
        # 用with块管理会话，确保训练完自动关闭
        with tf.compat.v1.Session() as sess:
            # 构建模型（这里用TF1.x风格为例，TF2.x同理）
            x = tf.compat.v1.placeholder(tf.float32, shape=[None, 784])
            y_ = tf.compat.v1.placeholder(tf.float32, shape=[None, 10])
            # ... 构建CNN结构、定义损失和优化器 ...
            train_step = tf.compat.v1.train.AdamOptimizer(hyperparams['lr']).minimize(loss)
            
            sess.run(tf.compat.v1.global_variables_initializer())
            # 训练循环
            for _ in range(hyperparams['steps']):
                batch_xs, batch_ys = mnist.train.next_batch(100)
                sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
    
    # 如果不需要保留这个图，就不要添加到列表里，让它被回收
    # 如果需要保留，就append到graphs，但注意用完后要手动删除引用
    # graphs.append(current_graph)

# 当所有超参数组跑完后，如果有保存的图，手动删除引用触发回收
# del graphs[:]

这里关键是会话必须关闭，因为会话会持有图的引用，不关闭的话图没法被回收。用with块管理会话是最安全的方式。

3. 避免默认图和自定义图混用 #

如果你之前的代码里不小心在默认图里创建了操作，那即使创建了新图，部分操作可能还是会跑到默认图里，导致干扰。所以一定要确保所有和当前超参数组相关的TensorFlow操作，都在对应的图上下文里执行，不要在上下文外定义变量、层或者操作。

总结一下：核心就是让每组超参数对应一个独立的tf.Graph对象，通过上下文管理器或者手动管理生命周期来确保旧图被及时回收，这样就不会出现多个图互相干扰的问题啦！

内容的提问来源于stack exchange，提问作者Herman Wilén