逐渐减小损失函数的权重

以下是一个示例代码，展示了如何逐渐减小损失函数的权重：

import tensorflow as tf

# 定义损失函数
def loss_function(y_true, y_pred, weight):
    loss = tf.reduce_mean(tf.square(y_true - y_pred))
    weighted_loss = loss * weight
    return weighted_loss

# 定义权重的变化函数
def weight_decay(epoch):
    initial_weight = 1.0  # 初始权重
    decay_rate = 0.1  # 权重衰减率
    decay_steps = 10  # 权重衰减步数
    weight = initial_weight * decay_rate**(epoch/decay_steps)
    return weight

# 创建模型
model = tf.keras.models.Sequential([
    tf.keras.layers.Dense(64, activation='relu', input_shape=(10,)),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(1)
])

# 编译模型
model.compile(optimizer='adam',
              loss=lambda y_true, y_pred: loss_function(y_true, y_pred, weight_decay(0)),  # 初始权重
              metrics=['mse'])

# 训练模型
for epoch in range(100):
    weight = weight_decay(epoch)
    model.compile(optimizer='adam',
                  loss=lambda y_true, y_pred: loss_function(y_true, y_pred, weight),
                  metrics=['mse'])
    model.fit(x_train, y_train, epochs=1, verbose=0)

在这个示例中，我们定义了一个简单的损失函数 loss_function，它接受真实值 y_true 和预测值 y_pred，以及权重 weight。损失函数的计算包括了对真实值和预测值之差的平方，然后乘以权重。

为了逐渐减小权重，我们定义了一个 weight_decay 函数，它接受当前的训练轮数 epoch，并返回相应的权重值。在这个示例中，我们使用了一个指数衰减的方式，初始权重为 1.0，衰减率为 0.1，衰减步数为 10。即在前 10 轮训练中，权重为 1.0；在第 11 轮训练中，权重为 0.1；在第 21 轮训练中，权重为 0.01，依此类推。

然后，我们创建了一个简单的模型，并将初始权重传递给损失函数。在每一轮训练之前，我们根据当前的训练轮数更新权重，并将更新后的权重传递给损失函数。

最后，我们使用训练数据进行模型训练，在每一轮训练之前根据当前的训练轮数更新权重，并将更新后的权重传递给损失函数。