神经网络代价函数Matlab实现异常：计算结果偏差超36倍求助

嘿，我帮你梳理下可能导致这个巨大偏差的几个常见问题——神经网络代价函数的实现真的很容易在细节上踩坑，尤其是这些容易忽略的点：

1. 正则化项的遗漏或错误计算 #

这是最常见的坑之一！很多人要么完全忘记加正则化项，要么错误地把偏置项也纳入了正则化范围（偏置通常不需要正则化）。

• 正确的正则化项逻辑：对所有隐藏层、输出层的权重矩阵W的非偏置列（也就是排除第一列）的平方和求和，再乘以λ/(2m)（m是样本总数）。
• Matlab示例代码：

% 假设W1是输入到隐藏层的权重，W2是隐藏到输出层的权重
reg_term = (lambda/(2*m)) * (sum(sum(W1(:,2:end).^2)) + sum(sum(W2(:,2:end).^2)));

2. 代价函数的损失类型选错了 #

如果是分类任务，千万别用平方误差损失！平方误差在分类场景下不仅训练效率低，初始代价也容易偏高，应该用交叉熵损失。

• 多分类场景下的交叉熵实现（需要先把y转成one-hot编码）：

% 转换y为one-hot矩阵
y_matrix = eye(num_labels)(y,:);
% 计算交叉熵
cross_entropy = (-1/m) * sum(sum(y_matrix .* log(h) + (1 - y_matrix) .* log(1 - h)));

注意：如果h的输出有0或1，log运算会出现无穷大，记得给h加个小范围限制，比如h = max(min(h, 0.999999), 0.000001)

3. 权重初始化太“豪放”了 #

如果权重初始值太大，会直接导致激活函数（比如sigmoid）进入饱和区，输出接近0或1，代价函数一开始就会飙升。

• 推荐用Xavier初始化，让权重值落在合适的小范围内：

W1 = randn(hidden_size, input_size+1) * sqrt(2/(input_size+1));
W2 = randn(num_labels, hidden_size+1) * sqrt(2/(hidden_size+1));

4. 前向传播的维度或步骤出错 #

数据维度不匹配、忘记加偏置项，都会让输出h完全偏离预期，代价自然不对：

• 记得给输入X和隐藏层输出a2添加偏置列（全1列）：

X = [ones(m,1) X]; % 输入层加偏置
a2 = sigmoid(z2);
a2 = [ones(m,1) a2]; % 隐藏层加偏置

• 可以在代码里加维度校验，避免低级错误：

assert(size(X,2) == size(W1,2), '输入X与权重W1维度不匹配');

5. 完整的代价函数参考示例 #

你可以对比下面的完整实现，看看自己的代码哪里有差异：

function [J] = nnCostFunction(nn_params, input_size, hidden_size, num_labels, X, y, lambda)
    % 展开权重参数
    W1 = reshape(nn_params(1:hidden_size*(input_size+1)), hidden_size, input_size+1);
    W2 = reshape(nn_params((1+hidden_size*(input_size+1)):end), num_labels, hidden_size+1);
    
    m = size(X, 1);
    % 前向传播
    X_with_bias = [ones(m,1) X];
    z2 = X_with_bias * W1';
    a2 = sigmoid(z2);
    a2_with_bias = [ones(m,1) a2];
    z3 = a2_with_bias * W2';
    h = sigmoid(z3);
    
    % 处理标签为one-hot
    y_onehot = eye(num_labels)(y,:);
    
    % 计算交叉熵损失
    cross_entropy_loss = (-1/m) * sum(sum(y_onehot .* log(h) + (1 - y_onehot) .* log(1 - h)));
    
    % 计算正则化项（排除偏置列）
    regularization_term = (lambda/(2*m)) * (sum(sum(W1(:,2:end).^2)) + sum(sum(W2(:,2:end).^2)));
    
    % 总代价
    J = cross_entropy_loss + regularization_term;
end

% 辅助的sigmoid函数
function g = sigmoid(z)
    g = 1.0 ./ (1.0 + exp(-z));
    % 防止数值溢出导致的0或1
    g = max(min(g, 0.999999), 0.000001);
end

你可以逐一排查这些点，尤其是正则化和损失函数的部分，这俩是最容易导致代价偏差过大的原因～

内容的提问来源于stack exchange，提问作者lemony9201