ReLU激活函数失效求助：神经网络切换后准确率骤降

我帮你排查了代码和问题场景，发现几个核心原因导致切换到ReLU后模型性能暴跌，下面逐个分析并给出修复方案：

1. 输入数据未做归一化 #

MNIST数据集的像素值范围是0-255，直接输入ReLU网络会引发严重问题：

• ReLU的特性是输入>0时直接输出原值，输入255会让隐藏层神经元的输入值变得极大，导致几乎所有神经元持续处于激活状态（丧失ReLU的稀疏激活优势）。
• 过大的输入会让权重更新的梯度异常大，模型快速发散；而sigmoid会把大输入压缩到接近1，自然规避了这个问题。

修复：将输入数据归一化到0-1区间，在训练和预测时对输入值除以255.0。

2. 输出层误用ReLU激活函数 #

你的任务是10分类（MNIST手写数字），目标值是0/1的独热编码，但ReLU的输出没有上限（可以是任意正数值）：

• 这会导致output_errors = targets - outputs的误差值变得极大（比如outputs可能是几百），乘以梯度后引发梯度爆炸，权重更新幅度过大，模型直接失效。
• 而sigmoid的输出范围是0-1，正好和目标值匹配，所以之前能正常工作。

修复：隐藏层用ReLU，输出层改用适合分类任务的激活函数，比如sigmoid（适配现有独热目标格式）或softmax（更适合多分类场景）。这里先适配你的现有目标格式，改用sigmoid作为输出层激活。

3. ReLU导数的小细节（次要但建议修正） #

你实现的ReLU导数在x>=0时返回1，但严格来说，ReLU在x=0处的导数通常定义为0（实际训练中影响不大，但更符合数学定义）。

修改后的完整代码 #

import numpy as np

class NeuralNetwork: 
    def __init__(self, input_nodes, hidden_nodes, output_nodes, learning_rate = 0.01):  # 调低学习率适配ReLU
        self.input_nodes = input_nodes 
        self.hidden_nodes = hidden_nodes 
        self.output_nodes = output_nodes 
        self.learning_rate = learning_rate 
        self.weights_ih = np.random.normal(0.0, pow(input_nodes, -0.5), (hidden_nodes, input_nodes)) 
        self.weights_ho = np.random.normal(0.0, pow(hidden_nodes, -0.5), (output_nodes, hidden_nodes)) 
        self.bias_h = np.random.normal(0.0, pow(1, -0.5), (hidden_nodes, 1)) 
        self.bias_o = np.random.normal(0.0, pow(1, -0.5), (output_nodes, 1)) 

    # 隐藏层ReLU激活
    def relu(self, x): 
        return x * (x > 0) 
    # ReLU导数（x=0时返回0更严谨）
    def relu_d(self, x): 
        return 1 * (x > 0) 
    
    # 输出层sigmoid激活
    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))
    # sigmoid导数
    def sigmoid_d(self, x):
        return self.sigmoid(x) * (1 - self.sigmoid(x))

    def train(self, inputs_list, targets_list): 
        # 输入归一化到0-1
        inputs = np.array(inputs_list, ndmin=2).T / 255.0 
        targets = np.array(targets_list, ndmin=2).T 

        # Feedforward 
        hidden_inputs = np.dot(self.weights_ih, inputs) + self.bias_h 
        hidden = self.relu(hidden_inputs) 

        output_inputs = np.dot(self.weights_ho, hidden) + self.bias_o 
        outputs = self.sigmoid(output_inputs)  # 输出层用sigmoid

        # Calculate errors 
        output_errors = targets - outputs 
        hidden_errors = np.dot(self.weights_ho.T, output_errors) 

        # Calculate gradients 
        # 输出层用sigmoid的导数
        output_gradient = output_errors * self.sigmoid_d(output_inputs) * self.learning_rate 
        hidden_gradient = hidden_errors * self.relu_d(hidden_inputs) * self.learning_rate 

        # Calculate deltas 
        output_deltas = np.dot(output_gradient, hidden.T) 
        hidden_deltas = np.dot(hidden_gradient, inputs.T) 

        # Adjust weights and biases 
        self.weights_ho += output_deltas 
        self.weights_ih += hidden_deltas 
        self.bias_o += output_gradient 
        self.bias_h += hidden_gradient 

    def predict(self, inputs_list): 
        # 预测时同样归一化输入
        inputs = np.array(inputs_list, ndmin=2).T / 255.0 
        hidden = self.relu(np.dot(self.weights_ih, inputs) + self.bias_h) 
        outputs = self.sigmoid(np.dot(self.weights_ho, hidden) + self.bias_o) 
        return outputs.flatten().tolist() 

修改后的训练代码（核心逻辑不变，确保输入读取正常） #

import numpy as np

# 初始化网络（MNIST输入是784维，假设隐藏层100节点，输出10类）
nn = NeuralNetwork(784, 100, 10, learning_rate=0.01)

with open('mnist_train.csv') as train_file: 
    for line in train_file: 
        data = list(map(int, line.split(','))) 
        inputs = data[1:] 
        targets = [1 if i == data[0] else 0 for i in range(10)] 
        nn.train(inputs, targets) 

额外建议：如果想进一步提升性能，可以将损失函数改为交叉熵损失（配合softmax输出层），这会让分类任务的训练更稳定高效，但需要调整误差计算的逻辑。

内容的提问来源于stack exchange，提问作者user9363390