如何在TensorFlow中定义修改版Leaky ReLU自定义激活函数

• 你触发报错的核心原因是：Keras的activation参数要求传入仅接受张量x作为唯一输入的可调用对象，你直接调用new_leaky_relu(alpha=0.1)时没有传入x参数，同时函数返回的是计算结果而非可调用对象，不符合参数要求。
• 额外笔误：你定义的激活函数内部用了未定义的变量k，应该替换为参数alpha。

方案1：闭包封装（最简单，适合快速验证） #

直接用高阶函数返回固定alpha参数的激活函数，符合Keras对激活接口的要求：

import tensorflow as tf

def get_new_leaky_relu(alpha: float = 0.1):
    def new_leaky_relu(x):
        # 直接用原生minimum OP实现定义的激活函数
        return tf.minimum(x, alpha * x)
    return new_leaky_relu

使用方式：

model = tf.keras.Sequential([
    tf.keras.layers.Flatten(input_shape=(124,)),
    # 直接传入闭包返回的可调用对象即可
    tf.keras.layers.Dense(256, activation=get_new_leaky_relu(alpha=0.1))
])

如果使用闭包方案，加载保存的模型时需要在custom_objects中传入对应alpha参数的激活函数实例。

方案2：自定义Layer实现（适合需要序列化保存模型的场景） #

如果需要长期复用、方便模型加载，可继承Layer实现自定义激活层：

class NewLeakyReLU(tf.keras.layers.Layer):
    def __init__(self, alpha: float = 0.1, **kwargs):
        super().__init__(**kwargs)
        self.alpha = alpha
    
    def call(self, x):
        return tf.minimum(x, self.alpha * x)
    
    def get_config(self):
        config = super().get_config()
        config.update({"alpha": self.alpha})
        return config

使用方式：

model = tf.keras.Sequential([
    tf.keras.layers.Flatten(input_shape=(124,)),
    tf.keras.layers.Dense(256),
    NewLeakyReLU(alpha=0.1)
])

加载该类实现的模型时，仅需要在custom_objects中传入NewLeakyReLU类即可，不需要针对每个alpha参数单独做适配。

你最初的实现效率不高，存在两个问题：

• 两次greater_equal判断+类型转换的操作，比原生tf.minimum多了不必要的计算步骤，且推理/训练时的图优化效率更低
• 边界判断对x=0的情况重复计算，虽然不影响结果但存在冗余计算
  推荐的tf.minimum实现是最优方案：属于TensorFlow原生运算OP，底层经过高度优化，没有冗余计算，同时代码简洁不易出错。

内容的提问来源于stack exchange，提问作者sergey_208