基于Keras的动漫人脸识别CNN准确率不足65%，如何优化至90%以上？

• 输出层激活函数替换：当前为83类单标签分类场景，输出层使用sigmoid搭配categorical_crossentropy损失完全不匹配，将sigmoid替换为softmax，这是准确率无法突破瓶颈的核心原因之一。
• 卷积参数修正：代码中Convolution2D(32, 3, 3)的写法如果基于Keras/TensorFlow框架，第三个参数为卷积步长，相当于步长设为3，会导致特征图过早丢失大量细节，修改为Convolution2D(32, (3,3), padding='same')，默认步长为1即可。
• 激活函数补充：简化后的CNN结构在卷积层后没有添加relu激活函数，非线性拟合能力完全缺失，卷积层后必须补充Activation('relu')。
• 输入尺寸调整：当前输入仅32x32分辨率，动漫人脸的五官、发型等区分特征会被压缩到无法识别，把输入尺寸调整到至少128x128，同步调整卷积层适配尺寸即可。

• 数据量补充：当前3000样本对应83个分类，平均每类仅36张样本，数据量严重不足，优先将每类样本量补充到至少100张，总样本量提升到10000以上。
• 数据增强扩容：现有ImageDataGenerator的增强强度太低，调整配置如下：

datagen = ImageDataGenerator(
    featurewise_center=True, 
    featurewise_std_normalization=True, 
    rotation_range=15, # 小角度旋转适配动漫人脸角度变化
    width_shift_range=0.15,  
    height_shift_range=0.15, 
    zoom_range=0.2, # 新增缩放增强
    brightness_range=[0.8,1.2], # 新增亮度变化适配不同画风
    horizontal_flip=True,  
    vertical_flip=False, 
    preprocessing_function=preprocess_input
)

• 数据集校验：确认数据集划分逻辑正确，无标签错误、训练集测试集泄露问题，训练集测试集按照7:3分层采样，保证各类样本分布一致。

• 改用迁移学习方案：小样本场景下自定义浅层CNN无法提取足够的区分特征，直接使用ImageNet预训练的ResNet18/ResNet34作为骨干网络，冻结前几层训练后再解冻全网络微调，效果远好于自定义的轻量CNN结构。
• 正则化调整：如果坚持使用自定义结构，在卷积层后增加BatchNormalization层，加快收敛同时防止过拟合，Dropout比例可以根据过拟合情况调整到0.3-0.4之间。

• Batch size调整：当前batch size=10太小，会导致训练梯度震荡无法收敛，调到32或64，显存不足的话最低不要低于16。
• 优化器与学习率调整：把rmsprop换成AdamW优化器，初始学习率设为1e-4，同时增加学习率衰减策略，比如每20个epoch学习率减半，或者用ReduceLROnPlateau回调，验证准确率不上升时自动降低学习率。
• 预处理对齐：当前只对X_test做了preprocess_input，训练集的预处理仅在数据流里调用，要保证训练集和测试集的预处理逻辑完全一致，提前对全量X_train也做归一化处理。

调整完上述内容后，基本可以将准确率提升到85%以上，再补充数据量、微调超参数即可达到90%的目标。

内容的提问来源于stack exchange，提问作者skrx10