如何在Keras中基于目标y动态设置自定义激活函数的上下限？

可行，下面提供两种实用方案，根据你的需求选择：

方案1：全局动态更新（基于训练集整体y的min/max） #

适合希望每个epoch使用整个训练集y的范围来更新激活参数的场景，通过自定义层+回调实现：

步骤1：定义自定义范围激活层 #

将lower和upper设为非训练可更新变量，替代原有的函数式激活：

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import backend as K

class RangeActivationLayer(keras.layers.Layer):
    def __init__(self, lower=-1.0, upper=1.0, **kwargs):
        super().__init__(**kwargs)
        # 定义非训练变量存储范围参数
        self.lower = self.add_weight(
            name='lower', shape=(), 
            initializer=keras.initializers.Constant(lower),
            trainable=False
        )
        self.upper = self.add_weight(
            name='upper', shape=(), 
            initializer=keras.initializers.Constant(upper),
            trainable=False
        )

    def call(self, x):
        x02 = K.tanh(x) + 1  # 将输出转换到(0,2)区间
        scale = (self.upper - self.lower) / 2
        return x02 * scale + self.lower

    def get_config(self):
        config = super().get_config()
        config.update({
            'lower': float(self.lower.numpy()),
            'upper': float(self.upper.numpy())
        })
        return config

步骤2：定义回调函数更新参数 #

在每个epoch开始时，自动计算训练集y的min/max并更新激活层参数：

class UpdateRangeCallback(keras.callbacks.Callback):
    def __init__(self, train_y):
        self.train_y = train_y

    def on_epoch_begin(self, epoch, logs=None):
        current_min = tf.reduce_min(self.train_y).numpy()
        current_max = tf.reduce_max(self.train_y).numpy()
        # 遍历模型层，更新激活层的范围参数
        for layer in self.model.layers:
            if isinstance(layer, RangeActivationLayer):
                layer.lower.assign(current_min)
                layer.upper.assign(current_max)
                print(f"Epoch {epoch+1}: 更新激活范围为 [{current_min:.4f}, {current_max:.4f}]")

步骤3：构建并训练模型 #

# 假设x_train是特征数据，y_train是目标值，input_dim是特征维度
model = keras.Sequential([
    keras.layers.Dense(64, activation='relu', input_shape=(input_dim,)),
    keras.layers.Dense(1),
    RangeActivationLayer()  # 使用自定义层替代原activation参数
])

model.compile(optimizer='adam', loss='mse')
callback = UpdateRangeCallback(train_y=y_train)

model.fit(x_train, y_train, epochs=10, callbacks=[callback])

方案2：Batch级动态更新（基于每个batch的y的min/max） #

适合需要每个训练批次都根据当前batch的y值动态调整激活范围的场景，通过双输入模型实现：

构建双输入模型 #

将目标值y作为模型的额外输入，在正向传播时动态计算范围：

def build_dynamic_range_model(input_dim):
    # 特征输入
    x_input = keras.layers.Input(shape=(input_dim,), name='feature_input')
    # 目标值输入（训练时传入当前batch的y，预测时传入训练集的全局范围值）
    y_input = keras.layers.Input(shape=(1,), name='target_input')
    
    # 计算当前batch的y的min和max
    y_min = K.min(y_input)
    y_max = K.max(y_input)
    
    # 主网络结构
    x = keras.layers.Dense(64, activation='relu')(x_input)
    x = keras.layers.Dense(1)(x)
    
    # 应用动态范围激活
    x02 = K.tanh(x) + 1
    scale = (y_max - y_min) / 2
    output = x02 * scale + y_min
    
    return keras.Model(inputs=[x_input, y_input], outputs=output)

训练与预测 #

model = build_dynamic_range_model(input_dim=10)
model.compile(optimizer='adam', loss='mse')

# 训练时，输入为特征和目标值的列表
model.fit([x_train, y_train], y_train, epochs=10, batch_size=32)

# 预测时，传入训练集的全局y范围值（重复为预测样本数量）
train_y_min = y_train.min()
train_y_max = y_train.max()
# 生成与预测样本数量匹配的y输入
y_pred_input = tf.ones((x_test.shape[0], 1)) * train_y_min
predictions = model.predict([x_test, y_pred_input])

内容的提问来源于stack exchange，提问作者Sharma