如何在TensorFlow中使用name_scope复用/重新打开已关闭的variable_scope？

你遇到的这个问题其实是TensorFlow计算图的特性导致的：每次运行代码片段时，默认的计算图会保留之前创建的所有节点。当你重复使用同名的variable_scope时，TensorFlow为了避免节点名称冲突，会自动给这个scope加上递增的后缀（比如_1、_2），所以每次生成的Tensor名字都会带新的索引。

下面给你几个实用的解决办法：

1. 每次运行前清空默认计算图 #

这是最直接的解决方案，每次运行代码前重置默认图，这样就不会有之前的节点残留，自然不会出现带索引的scope了。示例代码如下：

import tensorflow as tf

# 重置默认计算图，清除之前的所有节点
tf.reset_default_graph()

parameters = {}
with tf.variable_scope("layer1"):
    parameters["b1"] = tf.add(1, 1)
with tf.variable_scope("layer1"):
    parameters["b2"] = tf.add(1, 1)
print(parameters["b1"])
print(parameters["b2"])

这样不管你运行多少次，每次都是在全新的计算图里创建节点，scope名字不会被自动加后缀（不过同一个图里的同名操作还是会加后缀，比如Add:0和Add_1:0，但scope本身还是layer1）。

2. 复用已有的variable_scope（针对变量场景更实用） #

如果你想在同一个计算图里重复使用同一个layer1 scope，并且不想让scope名字加后缀，可以在第二次进入scope时设置reuse参数。不过要注意，这个参数主要是为了复用变量，对于tf.add这类普通操作，即使设置了reuse，还是会生成新的操作节点，只是scope名字不会变：

import tensorflow as tf

parameters = {}
with tf.variable_scope("layer1"):
    parameters["b1"] = tf.add(1, 1)
# 第二次进入scope时设置复用模式
with tf.variable_scope("layer1", reuse=tf.AUTO_REUSE):
    parameters["b2"] = tf.add(1, 1)
print(parameters["b1"])  # 输出：Tensor("layer1/Add:0", shape=(), dtype=int32)
print(parameters["b2"])  # 输出：Tensor("layer1/Add_1:0", shape=(), dtype=int32)

可以看到，scope名字保持为layer1，只是操作本身因为同名被加了后缀，这是TensorFlow避免操作名称冲突的正常机制。

3. 避免重复创建操作（训练场景建议） #

如果你的代码是在训练循环里执行，建议不要重复创建操作节点，而是在图定义阶段一次性创建好，之后在会话中重复运行这些节点即可。比如：

import tensorflow as tf

# 一次性定义好所有操作
with tf.variable_scope("layer1"):
    add_op = tf.add(1, 1)

# 在会话中重复运行操作，不会创建新节点
with tf.Session() as sess:
    for _ in range(3):
        result = sess.run(add_op)
        print(result)  # 每次都输出2，不会生成新的Tensor

内容的提问来源于stack exchange，提问作者Hello lad