You need to enable JavaScript to run this app. 从零实现的单隐藏层神经网络训练时成本函数持续上升问题求助
优惠活动
大模型
产品
解决方案
定价
更多

从零实现的单隐藏层神经网络训练时成本函数持续上升问题求助

核心问题定位

1. 最致命错误:sigmoid激活函数实现反向

这是直接导致成本持续上升的根本原因。
你当前实现的sigmoid为:

def sigmoid(z):
    a = 1 / (1 + np.exp(z))
    return a 

标准sigmoid的指数项符号是负的,正确实现应为:

def sigmoid(z):
    a = 1 / (1 + np.exp(-z))
    return a 

两个版本的输出是完全反向的:当输入z为大正值时,正确sigmoid输出趋近于1,你写的版本输出趋近于0;当z为大负值时,正确sigmoid输出趋近于0,你写的版本输出趋近于1。
这种反向会让梯度下降的优化方向完全错误:每一次参数更新都会朝着“把标签0的样本预测为1、标签1的样本预测为0”的方向走,交叉熵成本自然会随训练步长单调上升,和你观察到的成本从0.8逐步涨到13的曲线完全匹配。

2. 代码遗漏点:导数函数无返回值

你在代码里自己标注了der_sigmoid的return缺失:

def der_sigmoid(z):
    a = sigmoid(z) * (1 - sigmoid(z))
    # return a <-- MISSING?

虽然你当前用了“交叉熵损失+sigmoid输出”的简化梯度公式dZ2 = y_hat - y,暂时没调用这个导数函数,不会直接影响训练,但后续调整损失函数结构时,这里会直接报错。修正方式是补上return a。

3. 结构隐患:函数依赖全局变量,易引发隐性bug

当前的反向传播、参数更新函数没有把依赖的中间变量作为参数传入,完全靠全局作用域读取值:

  • back_prop()直接读取全局的Z1、A1、y_hat、W2、y、m,没有显式入参
  • update()直接读取全局的dW1、db1、dW2、db2,没有显式入参
    这种写法虽然在当前训练循环的固定顺序下可以运行,但一旦调整循环内的执行顺序,就会出现“用上一轮的旧梯度更新当前参数”的逻辑错误,且极难排查。修正方式是把所有依赖变量作为函数入参显式传入,避免隐式全局依赖。
修正后的关键逻辑参考
  1. 补全sigmoid的符号错误
  2. 补全der_sigmoid的return语句
  3. 调整反向传播、参数更新函数为显式传参模式:
    def back_prop(x, y, Z1, A1, y_hat, W2):
        m = x.shape[1]
        dZ2 = y_hat - y
        dW2 = 1 / m * np.dot(dZ2, A1.T)
        db2 = 1 / m * np.sum(dZ2, axis=1, keepdims=True)
    
        dZ1 = np.dot(W2.T, dZ2) * der_tanh(Z1)
        dW1 = 1 / m * np.dot(dZ1, x.T)
        db1 = 1 / m * np.sum(dZ1, axis=1, keepdims=True)
        return dW2, db2, dW1, db1
    
    def update(W1, b1, W2, b2, dW1, db1, dW2, db2, lr=0.01):
        W1 = W1 - lr * dW1
        b1 = b1 - lr * db1
        W2 = W2 - lr * dW2 
        b2 = b2 - lr * db2
        return W1, b1, W2, b2
    
  4. 训练循环内调整函数调用,匹配新的显式传参逻辑。

你的数据集本身是简单的线性可分结构,修正上述sigmoid的符号错误后,成本会从初始值快速下降,不会再出现持续上升的情况。


内容的提问来源于stack exchange,提问作者kuzlo

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 08:06:04