TensorFlow2循环执行Graph时遇ValueError问题求助

问题原因 #

报错核心是**@tf.function会将第一次调用时创建的tf.Variable绑定到生成的计算图中，后续调用如果再次创建同名/同作用的新变量，就会触发单例变量冲突**。当你遍历不同学习率时，如果Trainer函数内部每次都重新创建模型、优化器这类带tf.Variable的实例，第二次调用时这些新变量会和第一次图里的变量冲突，导致报错。而去掉@tf.function时，每次都是动态执行，不会生成固定计算图，所以不会有这个问题。

解决方法 #

把模型、优化器等带tf.Variable的实例创建逻辑移到@tf.function装饰的函数外面，在超参数循环中每次迭代时重置状态，而非重新创建变量；同时将可变超参数（比如学习率）作为函数参数传入。

示例调整方案

假设你原来的Trainer函数是这样的：

@tf.function
def Trainer(lr):
    # 内部创建模型和优化器，这会导致问题
    model = MyModel()
    optimizer = tf.keras.optimizers.Adam(learning_rate=lr)
    # ... 训练循环逻辑（GradientTape部分）

改成下面的结构：

# 1. 在循环外定义模型（变量只创建一次）
model = MyModel()

@tf.function
def Trainer(model, optimizer):
    # 2. 函数内只执行训练逻辑，不再创建新变量
    with tf.GradientTape() as tape:
        logits = model(inputs)
        loss = compute_loss(logits, labels)
    grads = tape.gradient(loss, model.trainable_variables)
    optimizer.apply_gradients(zip(grads, model.trainable_variables))
    # ... 其他训练步骤（比如记录指标）

# 3. 超参数遍历循环：每次重新初始化优化器（仅更新学习率，复用模型变量）
lr_list = [0.0001, 0.001, 0.01]
for lr in lr_list:
    # 重置模型状态
    model.reset_states()
    # 创建新的优化器（或调整现有优化器的学习率）
    optimizer = tf.keras.optimizers.Adam(learning_rate=lr)
    # 调用训练函数
    Trainer(model, optimizer)

额外说明

• 如果需要完全隔离不同超参数训练的状态，也可以在循环内创建模型，但要确保每个模型实例对应的训练逻辑不被同一个@tf.function装饰器复用——不过更高效的方式是复用模型变量，仅重置状态。
• 若要动态调整学习率，也可以使用tf.keras.optimizers.schedules学习率调度器，避免每次创建新优化器，但核心还是保证tf.function内不重复创建变量。

内容的提问来源于stack exchange，提问作者stander Qiu