Keras中损失函数可训练权重参数无法更新的解决方案咨询

问题根源是你定义的l1_weight等变量是独立于Keras模型的外部变量，未被纳入模型的可训练参数集合，因此训练时梯度不会传递到这些变量上，自然无法更新。以下是两种可行的实现方案：

方案一：自定义损失层（推荐） #

将可训练权重封装到自定义Keras层中，层内完成损失计算并添加到模型，这样权重会自动被注册为模型的可训练参数：

import tensorflow as tf
from tensorflow import keras

class WeightedLossLayer(tf.keras.layers.Layer):
    def __init__(self, n_inputs, **kwargs):
        super().__init__(**kwargs)
        self.n_inputs = n_inputs
        # 初始化带约束的可训练权重（可选约束范围，避免权重异常）
        self.l1_weight = tf.Variable(
            0.5, 
            trainable=True, 
            name='L1_Loss_weight',
            constraint=lambda x: tf.clip_by_value(x, 0.01, 1.0)
        )
        self.l2_weight = tf.Variable(
            0.5, 
            trainable=True, 
            name='L2_Loss_weight',
            constraint=lambda x: tf.clip_by_value(x, 0.01, 1.0)
        )
        self.l3_weight = tf.Variable(
            0.5, 
            trainable=True, 
            name='L3_Loss_weight',
            constraint=lambda x: tf.clip_by_value(x, 0.01, 1.0)
        )

    def call(self, inputs):
        encoder_input, en, de = inputs
        # 计算各损失项
        reconstruction_loss1 = tf.keras.metrics.mse(encoder_input, de[0]) * self.n_inputs
        reconstruction_loss2 = tf.keras.metrics.mse(en[1], de[1]) * (2 * self.n_inputs)
        reconstruction_loss3 = tf.keras.metrics.mse(en[2], de[2]) * self.n_inputs
        # 计算加权总损失并添加到层
        total_loss = self.l1_weight * reconstruction_loss1 + self.l2_weight * reconstruction_loss2 + self.l3_weight * reconstruction_loss3
        self.add_loss(total_loss)
        # 返回任意值（层的输出仅用于触发计算，不影响模型输出）
        return total_loss

# 构建模型
en = encoder(encoder_input)
de = decoder(en[0])
# 实例化损失层并传入计算所需参数
loss_layer = WeightedLossLayer(n_inputs)
loss_layer([encoder_input, en, de])
# 定义最终模型
vae = keras.Model(encoder_input, [en, de])

方案二：将权重绑定为模型属性 #

直接将权重变量赋值给模型的属性，确保Keras将其纳入可训练参数集合：

en = encoder(encoder_input)
de = decoder(en[0])
vae = keras.Model(encoder_input, [en, de])

# 将权重绑定为模型属性
vae.l1_weight = tf.Variable(
    0.5, 
    trainable=True, 
    name='L1_Loss_weight',
    constraint=lambda x: tf.clip_by_value(x, 0.01, 1.0)
)
vae.l2_weight = tf.Variable(
    0.5, 
    trainable=True, 
    name='L2_Loss_weight',
    constraint=lambda x: tf.clip_by_value(x, 0.01, 1.0)
)
vae.l3_weight = tf.Variable(
    0.5, 
    trainable=True, 
    name='L3_Loss_weight',
    constraint=lambda x: tf.clip_by_value(x, 0.01, 1.0)
)

# 定义加权损失计算函数
def compute_weighted_loss():
    reconstruction_loss1 = tf.keras.metrics.mse(encoder_input, de[0]) * n_inputs
    reconstruction_loss2 = tf.keras.metrics.mse(en[1], de[1]) * (2 * n_inputs)
    reconstruction_loss3 = tf.keras.metrics.mse(en[2], de[2]) * n_inputs
    return vae.l1_weight * reconstruction_loss1 + vae.l2_weight * reconstruction_loss2 + vae.l3_weight * reconstruction_loss3

# 添加损失到模型（用lambda包装确保每次调用能获取最新权重）
vae.add_loss(compute_weighted_loss)

额外提示 #

给权重添加范围约束（如0.01~1.0）可以避免训练中权重趋近于0导致某类损失被完全忽略，或者出现负数权重反向优化的情况，提升训练稳定性。

内容的提问来源于stack exchange，提问作者kowser66