TensorFlow中连续训练多模型时旧模型干扰新模型训练的问题

核心问题排查方向 #

• 自定义训练步骤的状态残留：你用的train_step()如果依赖全局变量、或者内部有未重置的tf.Variable状态（比如累加器），就算删了模型，这些状态也会保留，导致新模型训练时继承旧损失值。
• 全局变量滥用：global model和global optim会让实例挂在全局命名空间，就算del也可能因为隐性引用没被回收，残留状态。
• 重置操作顺序错误：你现在先重置种子再清理会话的顺序不对，得先删实例、再清会话、最后重置种子。
• TF2.x的tf.function缓存：如果train_step()加了@tf.function，它的计算图缓存会复用旧状态，新模型训练时走老路。

具体修复步骤 #

1. 干掉全局变量
   直接去掉global model和global optim声明，把模型、优化器都放在evaluate_network的局部作用域里，循环结束后局部变量会自动被垃圾回收，减少残留风险。

2. 调整清理顺序
   把清理代码改成这个顺序，确保先销毁实例，再清理会话：

   # 先删除局部实例引用
   del model
   del optim
   # 清理Keras会话，释放所有模型相关资源
   tf.keras.backend.clear_session()
   # TF1.x才需要重置计算图，TF2.x默认即时执行不需要
   if tf.__version__[0] == '1':
       tf.compat.v1.reset_default_graph()
   # 最后重置随机种子
   reset_seeds()
   

3. 重置train_step的状态
   把train_step()定义在evaluate_network的循环内部，每次训练新模型都重新生成这个函数，避免tf.function缓存旧的计算图。如果你的train_step里用了全局状态变量，全部改成局部变量或者和模型绑定的变量。

4. 优化器状态彻底清理
   Adam优化器自带动量缓存，用局部变量定义优化器，每次循环结束后del掉，让垃圾回收器彻底清掉这些缓存变量。

修正后的完整示例代码 #

import numpy as np
import random
import tensorflow as tf
from tensorflow.keras import backend as K
import math

def reset_seeds():
    np.random.seed(1)
    random.seed(2)
    if tf.__version__[0] == '2':
        tf.random.set_seed(3)
    else:
        tf.set_random_seed(3)

def init_model(layers, neurons):
    # 这里替换成你自己的模型初始化逻辑
    model = tf.keras.Sequential()
    model.add(tf.keras.layers.Dense(neurons, activation='relu', input_shape=(10,)))
    for _ in range(layers-1):
        model.add(tf.keras.layers.Dense(neurons, activation='relu'))
    model.add(tf.keras.layers.Dense(1))
    return model

def evaluate_network(lr, neurons, layers):
    avg_loss = []
    reset_seeds()  # 初始统一重置种子
    for i in range(1):
        # 局部变量定义模型和优化器，不用全局
        model = init_model(layers, neurons)
        optim = tf.keras.optimizers.Adam(learning_rate=lr/10000)
        
        # 每次循环重新定义train_step，避免tf.function缓存
        @tf.function
        def train_step():
            # 替换成你自己的训练逻辑
            with tf.GradientTape() as tape:
                x = tf.random.normal((32, 10))
                y_pred = model(x, training=True)
                y_true = tf.random.normal((32, 1))
                loss = tf.keras.losses.MSE(y_true, y_pred)
            grads = tape.gradient(loss, model.trainable_variables)
            optim.apply_gradients(zip(grads, model.trainable_variables))
            return tf.reduce_mean(loss)
        
        iters = 15000
        for step in range(iters+1):
            loss = train_step()
        
        avg_loss.append(loss.numpy())  # 转成numpy值，避免Tensor引用残留
        
        # 按正确顺序清理资源
        del model
        del optim
        tf.keras.backend.clear_session()
        if tf.__version__[0] == '1':
            tf.compat.v1.reset_default_graph()
        reset_seeds()

    avg = sum(avg_loss)/len(avg_loss)
    print(avg)
    return -math.log(avg)

内容的提问来源于stack exchange，提问作者mathieuSalz