如何在TensorFlow中自定义激活函数？附已实现的多层感知机代码

嘿，针对你现有的多层感知机结构，自定义激活函数其实非常简单，我给你拆解成几个实用步骤，直接套进你的代码里就行：

1. 定义你的自定义激活函数 #

首先你可以根据需求写任意符合TensorFlow张量运算逻辑的函数，比如下面几个常见的例子：

例子1：简单的无参数自定义激活（比如Leaky ReLU） #

def custom_leaky_relu(x):
    # 当x小于0时，返回0.1*x，否则返回x
    return tf.maximum(0.1 * x, x)

例子2：带可训练参数的激活函数（比如Parametric ReLU） #

如果需要让激活函数的参数参与训练，把参数定义为tf.Variable即可：

# 初始化可训练的alpha参数，默认值0.1
activation_alpha = tf.Variable(0.1, trainable=True, name="act_alpha")

def parametric_relu(x):
    return tf.maximum(activation_alpha * x, x)

2. 把自定义激活函数集成到你的MLP模型里 #

直接替换掉原来代码中tf.nn.relu的位置就行，比如修改你的multilayer_perceptron函数：

def multilayer_perceptron(x, weights, biases):
    layer_1 = tf.add(tf.matmul(x, weights["h1"]), biases["b1"])
    # 这里替换成你的自定义激活函数
    layer_1 = custom_leaky_relu(layer_1)  # 或者 parametric_relu(layer_1)
    out_layer = tf.add(tf.matmul(layer_1, weights["out"]), biases["out"])
    return out_layer

注意事项 #

• 确保你的自定义函数输入输出都是TensorFlow张量，不要混用普通numpy运算（除非用tf.numpy_function封装，但不推荐，会影响计算图效率）
• 如果用了可训练参数，要确保这些参数被包含在你的训练优化器的更新变量列表里（TF 1.x中默认trainable=True的变量会被自动加入，不用额外操作）
• 如果你用的是TensorFlow 2.x，写法会更灵活（比如用tf.function装饰），但上面的逻辑完全兼容TF 2.x

内容的提问来源于stack exchange，提问作者Gilfoyle