Keras中如何为ReLU层设置alpha即negative_slope参数

Keras中为ReLU层添加alpha/negative_slope参数的实现方法 #

方法1：直接使用内置ReLU层（你当前的写法已经生效） #

你代码中用到的tf.keras.layers.ReLU本身就支持直接配置负斜率参数，其中negative_slope参数就是你需要的alpha值，你当前写的negative_slope=0.1就是已经将alpha设置为0.1的LeakyReLU效果，该写法可直接正常运行。
对应参数说明：

• max_value：设置ReLU的最大截断值，无需求时设为None即可
• negative_slope：负区间的斜率，即你要配置的alpha参数
• threshold：触发激活的阈值，默认设为0即可

方法2：使用专门的LeakyReLU层 #

如果需要更明确的LeakyReLU语义，可以直接调用Keras内置的LeakyReLU层，直接传入alpha参数即可：

from keras.layers import LeakyReLU

# alpha设置为你需要的数值即可，示例为0.1
x = LeakyReLU(alpha=0.1)(x)

方法3：若必须使用Activation层实现，可自定义激活函数 #

如果你需要保持用Activation层的代码结构，可以先自定义带alpha参数的ReLU激活函数，再传入Activation层使用：

import tensorflow as tf
from keras.layers import Activation

# 自定义带alpha参数的LeakyReLU激活函数
def custom_leaky_relu(x, alpha=0.1):
    return tf.nn.leaky_relu(x, alpha=alpha)

# 传入Activation层调用
x = Activation(custom_leaky_relu)(x)

内容的提问来源于stack exchange，提问作者pilapila