tf.keras.layers.ReLU的negative_slope参数是什么？是否等同LeakyReLU的alpha？

背景信息 #

tf.keras.layers.ReLU 包含 negative_slope 参数，定义为：大于等于0的浮点数，负区间斜率系数，默认值为0。其调用形式为：

tf.keras.layers.ReLU(
    max_value=None, 
    negative_slope=0.0, 
    threshold=0.0, 
    **kwargs
)

tf.keras.layers.LeakyReLU 包含 alpha 参数，定义为：大于等于0的浮点数，负区间斜率系数，默认值为0.3。其调用形式为：

tf.keras.layers.LeakyReLU(alpha=0.3, **kwargs)

问题 #

ReLU 层的 negative_slope 参数是否用于实现Leaky ReLU？如果是，它和 LeakyReLU 层的 alpha 参数是否相同？

解答 #

是的，tf.keras.layers.ReLU 的 negative_slope 参数就是用来实现Leaky ReLU功能的。当给该参数设置大于0的值时，该层会表现出Leaky ReLU的特性——对于小于0的输入，不再直接输出0，而是输出输入值乘以这个负斜率系数。

它和 tf.keras.layers.LeakyReLU 的 alpha 参数完全等价，二者都是用来定义负区间的斜率系数。仅有的区别是默认值不同：

• ReLU 层的 negative_slope 默认值为0，对应标准ReLU的行为
• LeakyReLU 层的 alpha 默认值为0.3，是Leaky ReLU常用的默认配置

直白点说，tf.keras.layers.ReLU(negative_slope=0.3) 和 tf.keras.layers.LeakyReLU(alpha=0.3) 的功能完全一致。

内容的提问来源于stack exchange，提问作者mon