TensorFlow中Sigmoid操作实现求助：前向验证与反向梯度推导

嘿，我来帮你搞定Sigmoid这部分的问题～

一、你的Sigmoid前向传播函数是否正确？ #

从数学公式上看，你写的sigmoid_op_forward完全符合Sigmoid的定义，逻辑是对的！不过有个小细节需要留意：你之前的线性反向传播用了TensorFlow的API（比如tf.multiply），但前向传播里用了np.exp——如果输入X是TensorFlow张量的话，混用numpy函数可能会触发不必要的类型转换，甚至破坏计算图的构建。

更稳妥的做法是统一用TensorFlow的函数实现，这样兼容性更好：

def sigmoid_op_forward(X):
    return 1 / (1 + tf.exp(-X))

二、Sigmoid梯度的推导思路 #

先给你理清楚Sigmoid的导数推导，其实非常巧妙：

1. 首先Sigmoid的公式是：$\sigma(x) = \frac{1}{1 + e^{-x}}$
2. 对x求导：
   $$
   \sigma'(x) = \frac{d}{dx}\left(\frac{1}{1 + e^{-x}}\right) = \frac{e^{-x}}{(1 + e^{-x})2}
   $$
3. 把式子变形，和Sigmoid本身关联起来：
   $$
   \sigma'(x) = \frac{1}{1 + e^{-x}} \times \frac{e^{-x}}{1 + e^{-x}} = \sigma(x) \times (1 - \sigma(x))
   $$
   因为$1 - \sigma(x) = 1 - \frac{1}{1 + e^{-x}} = \frac{e^{-x}}{1 + e^{-x}}$，刚好匹配上面的式子。

简单说就是：Sigmoid的梯度等于它自身的输出乘以（1减去自身输出），这个性质让反向传播的计算特别高效。

三、补全Sigmoid反向传播函数 #

根据上面的推导，反向传播只需要把上游传来的梯度grads，乘以Sigmoid的局部梯度（也就是$\sigma(x)*(1-\sigma(x))$）就行。这里我们可以直接复用前向传播的输出结果，不用重新计算一次Sigmoid，能节省计算资源。

完整的反向传播函数如下：

def sigmoid_op_backward(op, grads):
    ''' Sigmoid gradient realization '''
    # 获取前向传播得到的Sigmoid输出
    sigmoid_output = op.outputs[0]
    # 计算Sigmoid的局部梯度
    local_grad = sigmoid_output * (1 - sigmoid_output)
    # 上游梯度与局部梯度相乘，得到对输入X的梯度
    dX = tf.multiply(grads, local_grad)
    return dX

内容的提问来源于stack exchange，提问作者Alex Nikitin