从零实现的单隐藏层神经网络训练时成本函数持续上升问题求助
核心问题定位
1. 最致命错误:sigmoid激活函数实现反向
这是直接导致成本持续上升的根本原因。
你当前实现的sigmoid为:
def sigmoid(z): a = 1 / (1 + np.exp(z)) return a
标准sigmoid的指数项符号是负的,正确实现应为:
def sigmoid(z): a = 1 / (1 + np.exp(-z)) return a
两个版本的输出是完全反向的:当输入z为大正值时,正确sigmoid输出趋近于1,你写的版本输出趋近于0;当z为大负值时,正确sigmoid输出趋近于0,你写的版本输出趋近于1。
这种反向会让梯度下降的优化方向完全错误:每一次参数更新都会朝着“把标签0的样本预测为1、标签1的样本预测为0”的方向走,交叉熵成本自然会随训练步长单调上升,和你观察到的成本从0.8逐步涨到13的曲线完全匹配。
2. 代码遗漏点:导数函数无返回值
你在代码里自己标注了der_sigmoid的return缺失:
def der_sigmoid(z): a = sigmoid(z) * (1 - sigmoid(z)) # return a <-- MISSING?
虽然你当前用了“交叉熵损失+sigmoid输出”的简化梯度公式dZ2 = y_hat - y,暂时没调用这个导数函数,不会直接影响训练,但后续调整损失函数结构时,这里会直接报错。修正方式是补上return a。
3. 结构隐患:函数依赖全局变量,易引发隐性bug
当前的反向传播、参数更新函数没有把依赖的中间变量作为参数传入,完全靠全局作用域读取值:
back_prop()直接读取全局的Z1、A1、y_hat、W2、y、m,没有显式入参update()直接读取全局的dW1、db1、dW2、db2,没有显式入参
这种写法虽然在当前训练循环的固定顺序下可以运行,但一旦调整循环内的执行顺序,就会出现“用上一轮的旧梯度更新当前参数”的逻辑错误,且极难排查。修正方式是把所有依赖变量作为函数入参显式传入,避免隐式全局依赖。
修正后的关键逻辑参考
- 补全sigmoid的符号错误
- 补全
der_sigmoid的return语句 - 调整反向传播、参数更新函数为显式传参模式:
def back_prop(x, y, Z1, A1, y_hat, W2): m = x.shape[1] dZ2 = y_hat - y dW2 = 1 / m * np.dot(dZ2, A1.T) db2 = 1 / m * np.sum(dZ2, axis=1, keepdims=True) dZ1 = np.dot(W2.T, dZ2) * der_tanh(Z1) dW1 = 1 / m * np.dot(dZ1, x.T) db1 = 1 / m * np.sum(dZ1, axis=1, keepdims=True) return dW2, db2, dW1, db1 def update(W1, b1, W2, b2, dW1, db1, dW2, db2, lr=0.01): W1 = W1 - lr * dW1 b1 = b1 - lr * db1 W2 = W2 - lr * dW2 b2 = b2 - lr * db2 return W1, b1, W2, b2 - 训练循环内调整函数调用,匹配新的显式传参逻辑。
你的数据集本身是简单的线性可分结构,修正上述sigmoid的符号错误后,成本会从初始值快速下降,不会再出现持续上升的情况。
内容的提问来源于stack exchange,提问作者kuzlo
相关产品推荐
相关产品推荐

