从零实现单隐藏层Softmax神经网络遇阻：正误实现均失效，求助排查

首先，我特别理解你这种卡壳的感觉——从零实现神经网络本来就容易踩坑，尤其是softmax这种看起来简单但细节超多的模块。结合我自己踩过的坑，给你列几个最容易出问题的点：

1. Softmax数值稳定性问题 #

Softmax的公式是softmax(z_i) = e^z_i / sum(e^z_j)，如果z里的数值很大，e^z_i会直接溢出变成无穷大，导致整个计算失效。解决办法是先对z做数值平移：给每个z_i减去z中的最大值，也就是：

def softmax(z):
    z_shifted = z - np.max(z, axis=1, keepdims=True)
    exp_z = np.exp(z_shifted)
    return exp_z / np.sum(exp_z, axis=1, keepdims=True)

这一步几乎是所有靠谱softmax实现的标配，你可以先检查自己有没有做这个处理。

2. 损失函数与Softmax的导数配合 #

多分类任务一般用交叉熵损失，而且最好把softmax和交叉熵损失合并计算导数，这样能避免单独求softmax导数时的复杂计算，还能减少数值误差。

单独求softmax的导数时，当i=j时导数是softmax(z_i)*(1-softmax(z_i))，i≠j时是-softmax(z_i)*softmax(z_j)，这个矩阵运算很容易写错维度。但如果结合交叉熵损失，整个损失对z的导数其实是softmax(z) - y_true（y_true是one-hot编码的标签），这个公式简单得多，也不容易出错。

你可以检查一下：

• 是不是用了正确的交叉熵损失？
• 有没有手动计算softmax导数导致维度不匹配？

3. 标签编码问题 #

多分类任务的标签必须是one-hot编码吗？不一定，但如果你的损失函数是基于one-hot设计的，那标签格式错了肯定会出问题。比如如果标签是整数形式（比如0、1、2），那交叉熵损失的计算方式要调整，不能直接用-sum(y_true * log(y_pred))，得用取索引的方式。

举个例子，假设y_true是形状为(n_samples,)的整数数组，y_pred是(n_samples, n_classes)的softmax输出，那损失应该是：

def cross_entropy(y_pred, y_true):
    n_samples = y_pred.shape[0]
    # 取每个样本对应标签的预测概率
    log_probs = np.log(y_pred[range(n_samples), y_true])
    return -np.sum(log_probs) / n_samples

这时候损失对z的导数依然是y_pred - one_hot(y_true)，所以得确保标签转one-hot的过程没错。

4. 学习率设置问题 #

Softmax输出的概率值是0-1之间的，交叉熵损失的量级和二分类可能不一样。如果用了和二分类一样的学习率，可能会导致梯度爆炸或者收敛极慢。你可以试试把学习率调小一个数量级（比如从0.1调到0.01），看看有没有改善。

5. 隐藏层输出的尺度问题 #

如果隐藏层用了relu，很容易出现输出值很大的情况，传到输出层的z值就会很大，进而触发softmax的数值溢出（即使做了平移，也可能有问题）。可以试试在隐藏层之后加一个批量归一化，或者调整隐藏层的神经元数量、权重初始化方式（比如用Xavier初始化代替随机初始化）。

先从这几个点排查，大概率能找到问题所在！

内容的提问来源于stack exchange，提问作者KOB