TensorFlow 2.11中SGD Optimizer无法作用于损失函数的问题

错误原因 #

你同时使用了TensorFlow 1.x的图模式组件（tf.compat.v1.disable_v2_behavior()、占位符placeholder）和TensorFlow 2.x的即时执行组件（GradientTape、tf.optimizers.SGD），两种模式的冲突导致GradientTape无法正常工作，触发了持久化磁带的使用错误。

解决方案 #

方案一：完全使用TensorFlow 1.x图模式（适配你当前的代码结构） #

既然已经禁用了v2行为，直接改用TensorFlow 1.x原生的梯度下降优化器，替换掉你当前的优化器代码：

替换前的错误代码：

tape_df =  tf.GradientTape(persistent=True)
opt = tf.optimizers.SGD(learning_rate=0.01)
optimizer = opt.minimize(cost_function, var_list=[W, b], tape =tape_df)

替换为：

# 使用v1原生的梯度下降优化器，自动处理反向传播
optimizer = tf.compat.v1.train.GradientDescentOptimizer(learning_rate=0.01).minimize(cost_function)

注意：你原来的var_list只包含最后一层的W和b，这会导致前两层的参数（W_1、b_1、W_2、b_2）不会被更新，建议去掉var_list参数，让优化器更新所有可训练变量。

后续训练需要启动TensorFlow会话执行图：

with tf.compat.v1.Session() as sess:
    sess.run(init)
    # 示例训练循环（需自行替换epochs、训练数据）
    for epoch in range(100):
        _, current_loss = sess.run([optimizer, cost_function], feed_dict={X: 训练输入数据, Y: 训练标签数据})
        print(f"Epoch {epoch+1}, Loss: {current_loss:.4f}")
    # 保存模型
    saver.save(sess, "你的模型保存路径")

方案二：迁移到TensorFlow 2.x原生写法（推荐，更符合当前TF生态） #

放弃tf.compat.v1.disable_v2_behavior()，使用TF2的即时执行模式重构代码，这是TensorFlow官方推荐的方式：

import tensorflow as tf

# 假设你已定义以下变量：n_dim, n_hidden_units_one, n_hidden_units_two, n_classes, sd
# 假设train_X、train_Y是numpy格式的训练数据

# 定义所有可训练参数
W_1 = tf.Variable(tf.random.normal([n_dim, n_hidden_units_one], mean=0, stddev=sd))
b_1 = tf.Variable(tf.random.normal([n_hidden_units_one], mean=0, stddev=sd))
W_2 = tf.Variable(tf.random.normal([n_hidden_units_one, n_hidden_units_two], mean=0, stddev=sd))
b_2 = tf.Variable(tf.random.normal([n_hidden_units_two], mean=0, stddev=sd))
W = tf.Variable(tf.random.normal([n_hidden_units_two, n_classes], mean=0, stddev=sd))
b = tf.Variable(tf.random.normal([n_classes], mean=0, stddev=sd))

# 前向传播逻辑
def forward(x):
    h_1 = tf.nn.tanh(tf.matmul(x, W_1) + b_1)
    h_2 = tf.nn.sigmoid(tf.matmul(h_1, W_2) + b_2)
    y_pred = tf.nn.softmax(tf.matmul(h_2, W) + b)
    return y_pred

# 损失函数
def compute_loss(y_true, y_pred):
    return tf.reduce_mean(-tf.reduce_sum(y_true * tf.math.log(y_pred), axis=1))

# 初始化优化器
opt = tf.optimizers.SGD(learning_rate=0.01)

# 训练循环
epochs = 100
for epoch in range(epochs):
    # 用GradientTape记录计算过程
    with tf.GradientTape() as tape:
        y_pred = forward(train_X)
        current_loss = compute_loss(train_Y, y_pred)
    # 计算所有参数的梯度
    grads = tape.gradient(current_loss, [W_1, b_1, W_2, b_2, W, b])
    # 应用梯度更新参数
    opt.apply_gradients(zip(grads, [W_1, b_1, W_2, b_2, W, b]))
    # 打印训练日志
    print(f"Epoch {epoch+1}, Loss: {current_loss.numpy():.4f}")

优势：TF2的写法更简洁，支持即时调试，不需要手动管理会话，后续扩展和维护更方便。

内容的提问来源于stack exchange，提问作者treeoid