TensorFlow框架下tf.keras实现LeakyReLU激活函数的配置问题咨询

配置LeakyReLU的两种实现方式 #

你不需要调整原有units、input_dim的配置逻辑，直接按照以下两种方法修改现有代码即可：

方式1：单独添加LeakyReLU激活层

这是你提到的写法，只需要去掉原有Dense层的activation='relu'参数，在对应Dense层后追加LeakyReLU层即可：

import tensorflow as tf
from tensorflow import keras
# 提前导入LeakyReLU
from tensorflow.keras.layers import LeakyReLU

# 初始化ANN
ann = tf.keras.models.Sequential()

# 输入层和第一个隐藏层
# input_dim仅需要在第一层指定，数值为你的输入数据集的特征数量
ann.add(tf.keras.layers.Dense(units=32, input_dim=替换为实际输入特征数))
ann.add(LeakyReLU(alpha=0.05))

# 第二个隐藏层
ann.add(tf.keras.layers.Dense(units=32))
ann.add(LeakyReLU(alpha=0.05))

# 输出层按原有业务需求配置即可，回归任务可保持原写法
ann.add(tf.keras.layers.Dense(units=1))

方式2：直接在Dense层中指定激活函数

如果不想拆成两层写，可以直接把实例化的LeakyReLU对象传给Dense层的activation参数：

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras.layers import LeakyReLU

# 初始化ANN
ann = tf.keras.models.Sequential()

# 输入层和第一个隐藏层
ann.add(tf.keras.layers.Dense(units=32, input_dim=替换为实际输入特征数, activation=LeakyReLU(alpha=0.05)))

# 第二个隐藏层
ann.add(tf.keras.layers.Dense(units=32, activation=LeakyReLU(alpha=0.05)))

# 输出层
ann.add(tf.keras.layers.Dense(units=1))

注意事项 #

• units参数和激活函数无关，还是按照你原有需求设置对应层的神经元数量即可
• input_dim仅需要在第一个Dense层配置，不需要给后续层或LeakyReLU层配置
• 输出层的激活函数按任务选择：回归任务可不加，二分类任务加sigmoid，多分类任务加softmax，无需使用LeakyReLU

内容的提问来源于stack exchange，提问作者Joehat