如何提升基于InceptionResNetV2的图像情感识别模型验证准确率

问题背景 #

基于InceptionResNetV2做迁移学习开发二分类（开心/难过）图像情感识别系统，参考了《Deep Learning with Python》的迁移学习方法，选择该模型是因为其在图像分类任务中验证准确率表现最优。当前模型验证准确率卡在81%左右，已尝试添加Dropout、调整训练轮数、调整全连接层节点数（64-512区间）、整理数据集等方法，仍无改善。

当前模型代码：

conv_base = tf.keras.applications.InceptionResNetV2(
    include_top=False,
    weights='imagenet',
    input_shape=(IMAGE_HEIGHT,IMAGE_WIDTH,3),
)
conv_base.trainable = False

data_augmentation = tf.keras.Sequential(
 [
    tf.keras.layers.RandomFlip("horizontal"),
    tf.keras.layers.RandomRotation(0.1),
    tf.keras.layers.RandomZoom(0.25),
    tf.keras.layers.RandomContrast(0.2),
    tf.keras.layers.RandomBrightness(0.2),
    tf.keras.layers.RandomTranslation(0.2, 0.2),
]
)

inputs = tf.keras.Input(shape=(IMAGE_HEIGHT,IMAGE_WIDTH,3))
x = data_augmentation(inputs)
x = tf.keras.applications.inception_resnet_v2.preprocess_input(x)
x = conv_base(x)
x = tf.keras.layers.Flatten()(x)
x = tf.keras.layers.Dense(64)(x)
x = tf.keras.layers.Dropout(0.5)(x)
outputs = tf.keras.layers.Dense(1, activation='sigmoid')(x)

model = tf.keras.Model(inputs, outputs)

可行优化方法 #

• 微调预训练模型顶层卷积层
  目前仅训练全连接层，预训练模型的通用特征可能不完全适配情感分类任务。可以解冻模型最后20-30层，用极小学习率微调，让模型学习到更贴合情感的专属特征：

  conv_base.trainable = True
  # 冻结前序层，仅训练最后30层
  for layer in conv_base.layers[:-30]:
      layer.trainable = False
  # 编译时使用小学习率，避免破坏预训练权重
  model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=1e-5),
                loss='binary_crossentropy',
                metrics=['accuracy'])
  

• 优化全连接层结构
  单层全连接层的拟合能力有限，可尝试增加层数；同时用GlobalAveragePooling2D替代Flatten，大幅减少参数规模，降低过拟合风险：

  x = conv_base(x)
  x = tf.keras.layers.GlobalAveragePooling2D()(x)  # 替换Flatten
  x = tf.keras.layers.Dense(256, activation='relu')(x)
  x = tf.keras.layers.Dropout(0.5)(x)
  x = tf.keras.layers.Dense(128, activation='relu')(x)
  x = tf.keras.layers.Dropout(0.3)(x)
  outputs = tf.keras.layers.Dense(1, activation='sigmoid')(x)
  

• 调整数据增强策略
  当前增强组合可能存在冗余或力度不足：

  • 调整增强参数，比如把RandomRotation角度提升到0.15-0.2，新增RandomCrop层；
  • 严格确保数据增强仅作用于训练集，验证集禁用增强；
  • 调整增强顺序，先执行几何变换（平移、旋转、翻转），再做像素级调整（亮度、对比度）。

• 优化损失与优化器

  • 如果数据集存在类别不平衡，用Focal Loss替代普通交叉熵损失，降低易分类样本的权重：

    focal_loss = tf.keras.losses.BinaryFocalCrossentropy(gamma=2.0)
    model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=1e-4),
                  loss=focal_loss,
                  metrics=['accuracy'])
    

  • 尝试AdamW优化器，相比Adam能更好地正则化权重，缓解过拟合。

• 数据集精细化处理

  • 检查标注准确性，清理标注错误的样本；
  • 导出模型错误分类的样本，分析混淆规律，针对性补充这类难区分的样本；
  • 若两类样本数量差距大，采用过采样少数类、欠采样多数类，或在损失函数中加入类别权重。

• 加入学习率调度
  使用学习率衰减回调，当验证准确率停滞时自动降低学习率，帮助模型跳出局部最优：

  lr_scheduler = tf.keras.callbacks.ReduceLROnPlateau(monitor='val_accuracy',
                                                      factor=0.5,
                                                      patience=3,
                                                      min_lr=1e-7)
  # 训练时传入回调
  model.fit(train_dataset, validation_data=val_dataset, epochs=50, callbacks=[lr_scheduler])
  

内容的提问来源于stack exchange，提问作者tagsense