基于TensorFlow的CNN服装识别模型自定义图片预测异常求助

核心问题分析 #

你的模型在Fashion-MNIST数据集上表现良好，但自定义图片预测偏差，核心原因是自定义图片与训练集的像素分布、特征形态不匹配，加上预处理环节的细节缺失，导致模型无法提取有效特征，最终倾向于预测最容易匹配的“Bag”类别。

具体修复方案 #

1. 对齐自定义图片与训练集的像素分布 #

Fashion-MNIST的图片是黑底白物体（像素值0为黑色背景，255为物体），而日常拍摄的自定义图片通常是白底黑物体，这种像素反转会让模型看到完全相反的特征，直接导致误判。需要添加灰度反转操作：

# 在resize步骤后加入反转
image = cv2.resize(image, (28, 28))
image = 255 - image  # 反转灰度，匹配训练集的像素分布

2. 优化自定义图片的预处理流程 #

直接resize整张图片会保留大量无关背景，导致物体比例失调、特征被稀释。正确流程应优先提取主体：

• 先裁剪出图片中的衣物主体（通过轮廓检测自动提取或手动裁剪）
• 再将裁剪后的主体resize到28×28
• 最后执行灰度反转与归一化

示例自动裁剪代码：

image = cv2.imread(image_path, cv2.IMREAD_GRAYSCALE)
# 二值化突出主体
_, thresh = cv2.threshold(image, 127, 255, cv2.THRESH_BINARY_INV)
# 寻找最大轮廓（假设为衣物主体）
contours, _ = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
if contours:
    max_contour = max(contours, key=cv2.contourArea)
    x, y, w, h = cv2.boundingRect(max_contour)
    image = image[y:y+h, x:x+w]
# 后续处理
image = cv2.resize(image, (28, 28))
image = 255 - image
image = image.astype('float32') / 255.0
image = np.expand_dims(image, axis=-1)

3. 增强模型泛化能力 #

当前仅训练5个epochs且无数据增强，模型容易对训练集特征过拟合，无法适应真实场景图片：

• 增加训练轮次：将epochs提升至15-20，同时监控验证集准确率，避免过拟合
• 添加数据增强：训练时加入随机翻转、平移、旋转等操作，让模型学习通用特征

from tensorflow.keras.preprocessing.image import ImageDataGenerator

# 创建数据增强生成器
datagen = ImageDataGenerator(
    rotation_range=10,
    width_shift_range=0.1,
    height_shift_range=0.1,
    horizontal_flip=True
)
# 使用生成器训练模型
datagen.fit(train_images)
model.fit(datagen.flow(train_images, train_labels, batch_size=32), epochs=15)

4. 验证模型特征提取有效性 #

通过可视化模型中间层输出，确认是否能从自定义图片中提取有效特征：

layer_outputs = [layer.output for layer in model.layers[:2]]
activation_model = keras.models.Model(inputs=model.input, outputs=layer_outputs)
activations = activation_model.predict(np.array([image]))

# 可视化第一个卷积层的激活图
import matplotlib.pyplot as plt
first_layer_activation = activations[0]
plt.matshow(first_layer_activation[0, :, :, 0], cmap='viridis')
plt.show()

若激活图全黑/全白，说明预处理仍有问题；若有明显特征响应，需进一步增强模型泛化能力。

总结 #

优先解决预处理匹配问题（灰度反转+主体裁剪），再通过数据增强和增加训练轮次提升模型泛化性，最后用特征可视化验证效果，即可逐步解决自定义图片的误判问题。

内容的提问来源于stack exchange，提问作者Itamar Peretz Cohen