如何在TensorFlow 1.5的tf.layers.dense中带自定义alpha使用leaky_relu？

当然有可行的方法啦！你遇到的问题本质是tf.nn.leaky_relu需要额外的alpha参数，而tf.layers.dense的activation参数要求的是一个只接收单个张量输入的函数——直接传tf.nn.leaky_relu的话，会因为参数数量不匹配报错。下面两种方法都能让你像用relu那样一行代码搞定：

方法1：使用Lambda表达式直接封装 #

这是最简洁的方式，直接在activation参数里用lambda把alpha参数固定住：

output = tf.layers.dense(input, n_units, activation=lambda x: tf.nn.leaky_relu(x, alpha=0.2))

你可以把0.2换成任何你需要的自定义alpha值，一行代码就能完成需求。

方法2：自定义激活函数生成器（更易复用） #

如果需要在多个地方使用不同alpha的LeakyReLU，你可以先定义一个生成函数，之后调用起来更简洁：

def custom_leaky_relu(alpha=0.1):
    return lambda x: tf.nn.leaky_relu(x, alpha=alpha)

# 调用时一行搞定，还能灵活修改alpha
output = tf.layers.dense(input, n_units, activation=custom_leaky_relu(alpha=0.3))

这两种方法都完美适配TensorFlow 1.5的tf.layers.dense接口，和你用tf.nn.relu的写法风格完全一致。

内容的提问来源于stack exchange，提问作者Amin