CNN模型训练数据预处理疑问及新手学习资源咨询

一、数据预处理的选择逻辑 #

• 直接用model.fit的场景：像Fashion MNIST、CIFAR10这类官方自带的数据集，已经是规整的像素格式（0-255），如果只是练手简单模型，只需要做**归一化（除以255）**和必要的维度调整（比如给灰度图加通道维度），就可以直接喂给模型，不需要额外的增强。
• 用ImageDataGenerator的场景：当你需要提升模型泛化能力（比如CIFAR10容易过拟合），或者处理自定义数据集时，就需要用它做数据增强（旋转、平移、翻转等），通过生成增强后的批次数据，让模型见过更多样的样本，减少过拟合。

二、标签处理的区别 #

• to_categorical（Keras内置）：专门为分类任务设计，直接接收整数标签，输出独热编码矩阵，和Keras的categorical_crossentropy损失函数完美适配，纯Keras流程里用这个最方便。
• OneHotEncoder（Scikit-learn）：更通用的特征编码工具，适合处理表格数据里的分类特征，只有当你用Scikit-learn的Pipeline和Keras结合时才会用到，纯图像分类任务里没必要舍近求远。

三、实战训练模板 #

1. Fashion MNIST 简单CNN训练模板 #

import tensorflow as tf
from tensorflow.keras import layers, models

# 加载数据集
(x_train, y_train), (x_test, y_test) = tf.keras.datasets.fashion_mnist.load_data()

# 预处理：归一化+增加通道维度（CNN需要通道信息）
x_train = x_train.reshape(-1, 28, 28, 1) / 255.0
x_test = x_test.reshape(-1, 28, 28, 1) / 255.0

# 标签独热编码
y_train = tf.keras.utils.to_categorical(y_train, 10)
y_test = tf.keras.utils.to_categorical(y_test, 10)

# 构建CNN模型
model = models.Sequential([
    layers.Conv2D(32, (3,3), activation='relu', input_shape=(28,28,1)),
    layers.MaxPooling2D((2,2)),
    layers.Conv2D(64, (3,3), activation='relu'),
    layers.MaxPooling2D((2,2)),
    layers.Flatten(),
    layers.Dense(64, activation='relu'),
    layers.Dense(10, activation='softmax')
])

# 编译模型
model.compile(optimizer='adam',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

# 训练（拆分10%数据做验证）
history = model.fit(x_train, y_train, epochs=10, batch_size=64, validation_split=0.1)

# 评估测试集
test_loss, test_acc = model.evaluate(x_test, y_test)
print(f'Test accuracy: {test_acc:.4f}')

2. CIFAR10 带数据增强的CNN训练模板 #

import tensorflow as tf
from tensorflow.keras import layers, models
from tensorflow.keras.preprocessing.image import ImageDataGenerator

# 加载数据集
(x_train, y_train), (x_test, y_test) = tf.keras.datasets.cifar10.load_data()

# 归一化
x_train = x_train / 255.0
x_test = x_test / 255.0

# 标签独热编码
y_train = tf.keras.utils.to_categorical(y_train, 10)
y_test = tf.keras.utils.to_categorical(y_test, 10)

# 配置数据增强
datagen = ImageDataGenerator(
    rotation_range=15,        # 随机旋转角度
    width_shift_range=0.1,    # 随机水平平移
    height_shift_range=0.1,   # 随机垂直平移
    horizontal_flip=True      # 随机水平翻转
)
datagen.fit(x_train)

# 构建适合CIFAR10的CNN模型（带Dropout防过拟合）
model = models.Sequential([
    layers.Conv2D(32, (3,3), padding='same', activation='relu', input_shape=(32,32,3)),
    layers.Conv2D(32, (3,3), activation='relu'),
    layers.MaxPooling2D((2,2)),
    layers.Dropout(0.2),
    layers.Conv2D(64, (3,3), padding='same', activation='relu'),
    layers.Conv2D(64, (3,3), activation='relu'),
    layers.MaxPooling2D((2,2)),
    layers.Dropout(0.2),
    layers.Flatten(),
    layers.Dense(512, activation='relu'),
    layers.Dropout(0.5),
    layers.Dense(10, activation='softmax')
])

# 编译模型
model.compile(optimizer='adam',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

# 用增强数据训练
history = model.fit(datagen.flow(x_train, y_train, batch_size=64),
                    epochs=20,
                    validation_data=(x_test, y_test))

# 评估测试集
test_loss, test_acc = model.evaluate(x_test, y_test)
print(f'Test accuracy: {test_acc:.4f}')

四、适合新手的参考资料 #

• 《Python深度学习》（François Chollet著）：第5章「卷积神经网络」里有针对Fashion MNIST、CIFAR10的完整实战流程，步骤讲解细致，完全贴合Keras/TensorFlow的入门需求，适合反复翻阅。
• 《深度学习》（Ian Goodfellow等著，俗称「花书」）：第8章「深度前馈网络」和第9章「卷积网络」，从理论层面讲清数据预处理、分类任务的核心逻辑，帮你理解背后的原理。
• TensorFlow官方入门教程里的「图像分类」板块：里面有针对这些数据集的分步代码案例，可直接运行，边练边学效果好。

内容的提问来源于stack exchange，提问作者Ayushya Pare