如何使用带preprocessing_function的ImageDataGenerator正确加载图像并验证CLAHE效果

告警和显示异常原因 #

你遇到的告警和空白显示问题是matplotlib的像素值范围校验机制导致的：

• matplotlib的plt.imshow对输入数据的范围有严格要求：浮点型输入必须在[0, 1]区间，整型输入必须在[0, 255]区间
• 你代码生成的img[0]是值域为[0, 255]的float32类型，大于1的像素全部被截断为1（纯白色），因此显示空白并触发截断告警
• 转成uint8后，数据类型和值域都匹配整型输入的要求，所以可以正常显示

代码核心问题 #

你的代码同时存在两个逻辑错误，导致CLAHE未正常生效：

• ImageDataGenerator的执行顺序为：先执行rescale缩放，再执行preprocessing_function自定义预处理。你设置的rescale=1/255会先把原始uint8图像缩放到[0, 1]的浮点区间，再输入到claheImage函数
• claheImage函数中你把[0, 1]的浮点灰度图转成uint16，此时像素值几乎全部为0或1，CLAHE处理无法起到对比度增强的效果，后续转成float32返回后，值域回到[0, 255]，也和训练需要的[0, 1]输入范围不匹配

修复方案 #

1. 调整预处理逻辑 #

把缩放逻辑移到自定义预处理函数的末尾，移除ImageDataGenerator的rescale参数，同时修正CLAHE的输入类型：

BSZ=64
tsize=(48,48)    

clahe = cv2.createCLAHE(clipLimit=0.01, tileGridSize=(8,8))    
def claheImage(img):
    # 输入为flow_from_directory读取的原始uint8 BGR图像，值域[0,255]
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    # 直接用uint8输入CLAHE，无需转uint16
    eq = clahe.apply(gray)
    eq = cv2.cvtColor(eq, cv2.COLOR_GRAY2BGR)
    # 最后执行缩放，得到值域[0,1]的float32图像，符合训练输入要求
    eq = eq.astype(np.float32) / 255.0
    return eq

# 移除rescale参数，缩放已在预处理函数中完成
val_generator = ImageDataGenerator(preprocessing_function=claheImage)

tr_generator = ImageDataGenerator(zoom_range=0.3,
                                  shear_range=0.3,
                                  horizontal_flip=True,
                                  rotation_range=15,
                                  fill_mode="nearest",
                                  preprocessing_function=claheImage)

val_data = val_generator.flow_from_directory("./test",
                                             batch_size= BSZ,
                                             target_size=tsize,
                                             color_mode="rgb",
                                             interpolation="nearest")
tr_data = tr_generator.flow_from_directory("./train",
                                          batch_size= BSZ,
                                          target_size=tsize,
                                          color_mode="rgb",
                                          interpolation="nearest")

2. 效果验证 #

修正后生成的图像为[0,1]区间的float32类型，直接调用plt.imshow(img[0])即可正常显示，不会触发告警。
要确认CLAHE是否生效，可对比同一原始图像处理前后的灰度直方图：CLAHE处理后的直方图分布更均匀，局部纹理对比度明显提升，即说明算法正常工作。

内容的提问来源于stack exchange，提问作者Carlos Berrocal