基于ImageDataGenerator的CNN发票分类：翻转图像预测失效问题咨询

看起来你遇到的核心问题是实时数据增强没有让模型充分学习到水平翻转的特征不变性——虽然你设置了horizontal_flip=True，但可能因为随机翻转的样本占比、模型学习能力或增强策略的局限性，导致模型对翻转后的图像泛化不足。下面是几个可行的解决方案，按优先级排序：

1. 先验证实时数据增强是否真的生效 #

有时候代码逻辑没问题，但生成器可能没有正确输出翻转图像，先做个快速验证：

import matplotlib.pyplot as plt

# 获取一个batch的训练数据
x_batch, y_batch = next(train_generator)

# 展示前5张生成的图像，检查是否有翻转样本
for i in range(5):
    plt.subplot(1, 5, i+1)
    plt.imshow(x_batch[i])
plt.show()

如果看不到翻转后的图像，检查flow_from_directory的参数（比如class_mode、target_size）是否和模型输入匹配，确保生成器正常运行。

2. 扩充数据增强的多样性与强度 #

单一的水平翻转可能不足以让模型聚焦发票的核心特征（比如文字、边框），建议增加更多变形场景，迫使模型学习方向无关的特征：

train_datagen = ImageDataGenerator(
    rescale=1./255,
    shear_range=0.2,
    zoom_range=0.2,
    horizontal_flip=True,
    # 新增以下增强项，覆盖更多实际场景
    vertical_flip=True,  # 适配可能上下翻转的发票
    rotation_range=15,   # 允许±15度旋转，应对轻微倾斜的发票
    width_shift_range=0.1,  # 小范围水平平移
    height_shift_range=0.1  # 小范围垂直平移
)

3. 调整训练策略提升学习效果 #

如果增强策略没问题，但模型还是没学到，试试调整训练参数：

• 增加训练轮次（epochs）：随机增强意味着模型需要更多迭代才能接触到足够多的翻转样本，可适当将epochs从原来的数值提升到20-30左右。
• 改用预训练模型迁移学习：从头训练的CNN很难快速掌握图像的方向不变性，改用ResNet、VGG等预训练模型进行微调——这些模型在大规模图像数据中已经学到了通用的方向无关特征，只需在顶层适配你的发票数据即可。

4. 手动扩充训练数据集（备选方案） #

如果实时增强的效果还是不稳定，可以手动生成翻转后的图像并加入训练集，确保正立和翻转样本比例均衡：

import os
from PIL import Image

# 遍历训练集目录，批量生成翻转图像
for root, dirs, files in os.walk(train_data_dir):
    for file in files:
        if file.endswith(('jpg', 'png')):
            img_path = os.path.join(root, file)
            img = Image.open(img_path)
            # 生成水平翻转图像
            flipped_img = img.transpose(Image.FLIP_LEFT_RIGHT)
            # 保存翻转后的图像，避免覆盖原文件
            flipped_save_path = os.path.join(root, f"{os.path.splitext(file)[0]}_flipped{os.path.splitext(file)[1]}")
            flipped_img.save(flipped_save_path)

这种方式能让模型在每一轮训练都接触到固定的翻转样本，对于小数据集来说效果更稳定。

最后注意测试环节的一致性 #

确保测试翻转图像时的预处理和训练完全一致：必须使用rescale=1./255，不要额外添加其他变换，避免因预处理差异导致预测错误。

内容的提问来源于stack exchange，提问作者OmerArslan