适用于小尺寸图像的预训练CNN模型及Fashion MNIST分类问题咨询

内存崩溃原因 #

Colab内存崩溃是全量生成20000张224×224数组的内存占用过高导致，单张224×224的uint8格式单通道图像约占50KB，20000张总占用约1GB，加上50000张训练集的话总占用超3.5GB，若转为float32格式内存占用直接翻4倍，超出Colab免费版内存配额，属于数据加载逻辑问题，并非操作失误。

支持小尺寸输入的预训练CNN模型 #

• 针对小尺寸输入优化的预训练模型：MobileNetV3_small、ShuffleNetV2的轻量变体均支持最低32×32的输入，部分框架提供的CIFAR-10预训练权重本身适配32×32输入，仅需将28×28的原始图像padding到32×32即可使用，无需放大到224尺寸，内存占用可降低90%以上。
• 自定义修改主流预训练模型的输入层：ResNet、EfficientNet等主流CNN的底层实现均支持动态输入尺寸，只需将模型第一层的输入尺寸修改为(28,28,1)或(32,32,3)（将单通道复制为三通道），加载预训练权重时跳过输入层的权重加载，仅微调高层特征提取层即可正常使用。

无需全量预处理的内存优化方案 #

• 流式加载+在线预处理：不要一次性将所有图像resize后存入内存，使用数据生成器（TensorFlow的ImageDataGenerator、PyTorch的Dataset+DataLoader）在训练/测试批次加载时实时完成resize、通道扩展等操作，仅保留当前批次的处理后数据在内存中，完全避免全量数据的内存占用。
• 降低上采样尺寸：如果必须使用适配224×224输入的预训练模型，可将28×28图像仅上采样到96×96而非224×224，绝大多数预训练模型支持最低96×96的输入，内存占用仅为224尺寸的1/5，精度损失极小。
• 混合精度存储：预处理阶段图像默认用uint8格式存储，仅在输入模型前转为float32，可直接减少3/4的内存占用。

其他可行替代方案 #

• 特征蒸馏方案：先用大尺寸预训练模型在小批次的224×224 Fashion MNIST数据上生成特征标签，再用小尺寸输入的模型学习这些特征标签，兼顾预训练模型的精度和小输入的低内存需求。
• 直接加载Fashion MNIST专属预训练权重：开源社区存在大量直接在28×28 Fashion MNIST数据集上预训练的CNN权重，可直接加载微调，不需要调整输入尺寸。

内容的提问来源于stack exchange，提问作者Thibaut B.