Keras深度学习中数据归一化的作用及MNIST实验相关疑问

这是个非常好的问题，刚好触碰到深度学习训练里最关键的预处理环节之一，我来帮你拆解清楚这几个疑问：

核心原因是梯度下降的效率和稳定性被破坏了，具体来说：

• 输入与权重的量级不匹配：你的原始像素值是0-255的大区间，但神经网络的权重初始化通常是在0附近的小范围（比如He/Xavier初始化，数值大概在±0.1到±1之间）。当大数值输入经过卷积、全连接层计算后，激活函数（比如你用的ReLU）的输出会偏大，导致梯度值要么过大（权重更新跳步错过最优解）要么过小（权重几乎没有更新），让梯度下降很难朝着最优解稳步前进。归一化到0-1后，输入和权重的量级匹配，梯度更新更稳定，相同epoch内模型能学到更有效的特征。
• 特征学习的不均衡：未归一化时，大数值的输入会主导权重更新，模型会过度关注高亮度的像素区域，而忽略低亮度区域的特征。归一化后所有像素特征处于同一量级，模型能均衡地学习图像各个位置的信息。

大概率很难，甚至完全达不到，原因有两点：

• 首先，未归一化的数据可能引发梯度爆炸/消失问题，即使训练很多epoch，权重也会一直震荡，无法收敛到最优解。哪怕你用了Adam这种自适应学习率的优化器，面对大尺度输入，依然可能出现更新不稳定的情况。
• 其次，就算梯度没爆炸，训练效率也极低——要达到归一化模型的准确率，可能需要几十甚至上百倍的epoch。更糟的是，大数值输入会让ReLU等激活函数进入“饱和”状态（大量神经元持续激活，失去非线性表达能力），最终模型的准确率上限会比归一化后的模型更低。

两者都会影响：

• 训练速度：归一化后梯度更稳定，模型收敛速度会快很多，相同epoch内的训练进度远超过未归一化的情况。
• 最终准确率：未归一化可能导致模型无法收敛到最优权重组合，最终准确率的上限会显著低于归一化模型。就算强行拉长训练周期，也可能因为梯度震荡、激活饱和等问题，达不到归一化模型的效果。

附上你的完整训练代码（方便参考）：

from keras.models import Sequential
from keras.layers.convolutional import Conv2D
from keras.layers.convolutional import MaxPooling2D
from keras.layers.core import Activation
from keras.layers.core import Flatten
from keras.layers.core import Dense
from keras.datasets import mnist
from keras.utils import np_utils
from keras.optimizers import SGD, RMSprop, Adam
import numpy as np
import matplotlib.pyplot as plt
from keras import backend as k

def build(input_shape, classes):
    model = Sequential()
    model.add(Conv2D(20, kernel_size=5, padding="same",activation='relu',input_shape=input_shape))
    model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))
    model.add(Conv2D(50, kernel_size=5, padding="same", activation='relu'))
    model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))
    model.add(Flatten())
    model.add(Dense(500))
    model.add(Activation("relu"))
    model.add(Dense(classes))
    model.add(Activation("softmax"))
    return model

NB_EPOCH = 4 # number of epochs
BATCH_SIZE = 128 # size of the batch
VERBOSE = 1 # set the training phase as verbose
OPTIMIZER = Adam() # optimizer
VALIDATION_SPLIT=0.2 # percentage of the training data used for evaluating the loss function
IMG_ROWS, IMG_COLS = 28, 28 # input image dimensions
NB_CLASSES = 10 # number of outputs = number of digits
INPUT_SHAPE = (1, IMG_ROWS, IMG_COLS) # shape of the input

(X_train, y_train), (X_test, y_test) = mnist.load_data()
k.set_image_dim_ordering("th")
X_train = X_train.astype('float32')
X_test = X_test.astype('float32')
X_train /= 255
X_test /= 255
X_train = X_train[:, np.newaxis, :, :]
X_test = X_test[:, np.newaxis, :, :]
print(X_train.shape[0], 'train samples')
print(X_test.shape[0], 'test samples')

y_train = np_utils.to_categorical(y_train, NB_CLASSES)
y_test = np_utils.to_categorical(y_test, NB_CLASSES)

model = build(input_shape=INPUT_SHAPE, classes=NB_CLASSES)
model.compile(loss="categorical_crossentropy", optimizer=OPTIMIZER,metrics=["accuracy"])
history = model.fit(X_train, y_train, batch_size=BATCH_SIZE, epochs=NB_EPOCH, verbose=VERBOSE, validation_split=VALIDATION_SPLIT)
model.save("model2")
score = model.evaluate(X_test, y_test, verbose=VERBOSE)
print('Test accuracy:', score[1])

内容的提问来源于stack exchange，提问作者Zaratruta