神经网络实现中权重变为NaN的问题排查求助

兄弟，我之前折腾Java实现深层神经网络的时候，也碰到过一模一样的糟心事——迭代几次权重就变NaN，测试样本预测全撞款。给你捋几个实战里最容易踩的坑，你挨个排查下：

1. 先搞定Softmax的数值溢出（NaN头号元凶） #

Softmax里的exp()函数特别容易炸，比如某个logit值稍微大一点，exp(logit)直接就变成无穷大，后续算交叉熵肯定出NaN。赶紧给你的Softmax加个“防溢出补丁”：

// 修正前：直接算exp，容易溢出
double expSum = 0.0;
for (double logit : logits) {
    expSum += Math.exp(logit);
}

// 修正后：先减批次内最大logit，把exp的最大值限制为1
double maxLogit = Arrays.stream(logits).max().getAsDouble();
double expSum = 0.0;
for (double logit : logits) {
    expSum += Math.exp(logit - maxLogit);
}

另外，交叉熵计算时别忘了给预测概率加个极小值1e-8，避免取log(0)得到负无穷：

double crossEntropy = 0.0;
for (int i = 0; i < numClasses; i++) {
    // 加1e-8防log(0)
    crossEntropy -= trueLabel[i] * Math.log(predictedProb[i] + 1e-8);
}

2. 检查梯度爆炸/初始化问题 #

5层隐藏层的网络很容易出现梯度爆炸，尤其是权重初始化太随意的时候：

• 换个靠谱的权重初始化方式：别直接用Random.nextDouble()生成0到1的数，试试He初始化：Random.nextGaussian() * Math.sqrt(2.0 / inputFeatureCount)，让初始权重的尺度适配输入维度，避免一开始就梯度过大。
• 加梯度裁剪：每次计算完梯度后，把梯度的L2范数限制在1.0以内，如果超过就按比例缩放。比如：

// 计算梯度的L2范数
double gradNorm = 0.0;
for (double[] row : gradients) {
    for (double g : row) {
        gradNorm += g * g;
    }
}
gradNorm = Math.sqrt(gradNorm);

// 如果范数超过阈值，缩放梯度
double clipThreshold = 1.0;
if (gradNorm > clipThreshold) {
    double scale = clipThreshold / gradNorm;
    for (int i = 0; i < gradients.length; i++) {
        for (int j = 0; j < gradients[i].length; j++) {
            gradients[i][j] *= scale;
        }
    }
}

3. 小批量梯度下降的细节别错 #

你用的是小批量（batch=100），千万别漏了梯度取平均！如果直接用批量内所有样本的梯度总和去更新权重，相当于学习率变相放大了100倍，几次迭代就把权重冲成NaN了：

// 错误：直接用梯度总和更新
weight[i][j] -= 0.01 * gradientSum[i][j];

// 正确：除以批量大小取平均
weight[i][j] -= 0.01 * gradientSum[i][j] / 100;

另外，检查下你的批量采样逻辑是不是真的随机——如果每次都取到同一批样本，或者批量里全是同一类数据，模型也会直接“躺平”，输出全相同。

4. 激活函数与反向传播的导数别写错 #

如果激活函数的导数算错了，梯度会完全乱掉，比如：

• Sigmoid的导数是output * (1 - output)，别写成(1 - output) * (1 - output)
• ReLU的导数是output > 0 ? 1 : 0，别漏了等于0的情况（或者用Leaky ReLU避免死神经元）
  要是导数错了，反向传播的梯度就全是错的，权重很快就会NaN，模型输出也会同质化。

5. 预测同质化的额外排查点 #

如果还没出现NaN就已经预测全相同，大概率是：

• 初始权重太接近0，导致所有神经元输出几乎一样，后续梯度拉不开差异
• 没加非线性激活函数！多层网络如果全是线性层，本质就是个单层线性模型，复杂分类任务肯定会输出同质化

你先从Softmax防溢出和梯度裁剪这两个点入手，这是我当时踩过的最直接的坑，大概率能解决问题。

内容的提问来源于stack exchange，提问作者204