TensorFlow 1.15.5/Keras：如何用构建时张量作为GradientTape损失值

我想要替换模型训练中的这行代码：

net.train_on_batch(train_subdata_batch_cache, train_subdata_to_batch_cache)

为自定义的TensorFlow梯度带训练循环：

with tf.GradientTape() as tape:
    net(tf.convert_to_tensor(train_subdata_batch_cache, dtype=tf.float32))
    loss_value = self.loss
grads = tape.gradient(loss_value, net.trainable_weights)
optimizer.apply_gradients(zip(grads, net.trainable_weights))

首次尝试使用self.loss时，触发错误：

AttributeError: 'function' object has no attribute 'dtype'

于是我在对应代码位置添加self.otherloss = total_loss，改用loss_value = self.otherloss后，又出现新错误：

AttributeError: 'RefVariable' object has no attribute '_id'

我的需求是在自定义训练循环中，正确使用total_loss变量计算梯度，请求解决该问题。

1. 第一个错误：self.loss是函数对象，并非计算好的张量。TensorFlow梯度带需要追踪张量的运算节点，直接引用函数会导致无法识别其数据类型。
2. 第二个错误：total_loss是旧版TensorFlow图模式的RefVariable类型，这种变量无法在即时执行模式的梯度带中被正确追踪梯度。

核心思路 #

必须在tf.GradientTape()上下文范围内，完成模型前向传播+损失计算的完整流程，确保梯度带能追踪到所有相关运算节点。

具体代码修改 #

with tf.GradientTape() as tape:
    # 1. 前向传播，获取当前批次的模型输出
    model_output = net(tf.convert_to_tensor(train_subdata_batch_cache, dtype=tf.float32))
    # 2. 在梯度带内直接计算total_loss，复用原代码中的损失计算逻辑
    # （以下示例需根据原total_loss的实际计算逻辑调整）
    reconstruction_loss = tf.reduce_mean(tf.square(model_output - train_subdata_to_batch_cache))
    regularization_loss = tf.add_n(net.losses)  # 若模型包含正则化损失
    total_loss = reconstruction_loss + regularization_loss

# 3. 计算并应用梯度
grads = tape.gradient(total_loss, net.trainable_weights)
optimizer.apply_gradients(zip(grads, net.trainable_weights))

代码优化（可选） #

为了复用损失计算逻辑，可将total_loss的计算封装为模型类的方法：

# 在model.py中新增方法
def compute_total_loss(self, model_output, labels):
    # 复制原代码中total_loss的计算逻辑
    reconstruction_loss = tf.reduce_mean(tf.square(model_output - labels))
    regularization_loss = tf.add_n(self.net.losses)
    total_loss = reconstruction_loss + regularization_loss
    return total_loss

之后在训练循环中调用该方法：

with tf.GradientTape() as tape:
    model_output = net(tf.convert_to_tensor(train_subdata_batch_cache, dtype=tf.float32))
    total_loss = self.compute_total_loss(model_output, train_subdata_to_batch_cache)

grads = tape.gradient(total_loss, net.trainable_weights)
optimizer.apply_gradients(zip(grads, net.trainable_weights))

内容的提问来源于stack exchange，提问作者ailauli69