从零实现MobileNetV3 Small无训练进展问题排查求助

核心问题排查方向 #

• 模型实现偏差：MobileNetV3 Small的核心模块（h-swish激活、SE注意力机制、倒残差瓶颈结构）是否严格匹配官方结构，尤其是通道数、步长、激活函数的选择（Small版本部分瓶颈用ReLU而非h-swish），分类头的dropout比例（官方为0.2）是否正确设置。
• 输入尺寸过小：80x80的输入远小于MobileNetV3设计的224x224最小有效尺寸，会导致深层特征提取不足，全局平均池化无法捕捉足够的语义信息。
• 数据预处理不足：仅做1./255归一化，未添加数据增强，花卉数据集样本量有限，容易导致模型快速收敛到随机猜测状态；同时需确认ImageDataGenerator的class_mode是否与标签格式匹配（多分类场景需对应categorical或sparse）。
• 优化器配置不当：默认Adam学习率（1e-3）对MobileNetV3可能过高，导致模型震荡无法收敛；权重初始化未采用He初始化或官方推荐的方式，也会影响初始学习能力。
• 损失函数不匹配：若标签为整数格式，误用categorical_crossentropy会导致损失计算错误，模型无法学习。

修正后的代码示例 #

1. 正确实现MobileNetV3 Small模型 #

import tensorflow as tf
from tensorflow.keras import layers, Model

def h_swish(x):
    return x * tf.nn.relu6(x + 3) / 6

def se_block(inputs, reduction=4):
    x = layers.GlobalAveragePooling2D()(inputs)
    x = layers.Dense(inputs.shape[-1] // reduction, activation='relu')(x)
    x = layers.Dense(inputs.shape[-1], activation='sigmoid')(x)
    return layers.Multiply()([inputs, x])

def bottleneck(inputs, filters, kernel_size, stride, use_se, activation):
    shortcut = inputs
    x = layers.Conv2D(filters, 1, strides=1, padding='same', use_bias=False)(inputs)
    x = layers.BatchNormalization()(x)
    x = h_swish(x) if activation == 'hswish' else layers.ReLU()(x)
    
    x = layers.DepthwiseConv2D(kernel_size, strides=stride, padding='same', use_bias=False)(x)
    x = layers.BatchNormalization()(x)
    x = h_swish(x) if activation == 'hswish' else layers.ReLU()(x)
    
    if use_se:
        x = se_block(x)
    
    x = layers.Conv2D(filters, 1, strides=1, padding='same', use_bias=False)(x)
    x = layers.BatchNormalization()(x)
    
    if stride == 1 and inputs.shape[-1] == filters:
        x = layers.Add()([x, shortcut])
    return x

def mobilenetv3_small(input_shape=(224,224,3), num_classes=5):
    inputs = layers.Input(shape=input_shape)
    
    x = layers.Conv2D(16, 3, strides=2, padding='same', use_bias=False)(inputs)
    x = layers.BatchNormalization()(x)
    x = h_swish(x)
    
    # 瓶颈层配置（对应MobileNetV3 Small官方结构）
    x = bottleneck(x, 16, 3, stride=2, use_se=True, activation='relu')
    x = bottleneck(x, 24, 3, stride=2, use_se=False, activation='relu')
    x = bottleneck(x, 24, 3, stride=1, use_se=False, activation='relu')
    x = bottleneck(x, 40, 5, stride=2, use_se=True, activation='hswish')
    x = bottleneck(x, 40, 5, stride=1, use_se=True, activation='hswish')
    x = bottleneck(x, 40, 5, stride=1, use_se=True, activation='hswish')
    x = bottleneck(x, 48, 5, stride=1, use_se=True, activation='hswish')
    x = bottleneck(x, 48, 5, stride=1, use_se=True, activation='hswish')
    x = bottleneck(x, 96, 5, stride=2, use_se=True, activation='hswish')
    x = bottleneck(x, 96, 5, stride=1, use_se=True, activation='hswish')
    x = bottleneck(x, 96, 5, stride=1, use_se=True, activation='hswish')
    
    x = layers.Conv2D(576, 1, strides=1, padding='same', use_bias=False)(x)
    x = layers.BatchNormalization()(x)
    x = h_swish(x)
    
    x = layers.GlobalAveragePooling2D()(x)
    x = layers.Reshape((1,1,576))(x)
    x = layers.Conv2D(1280, 1, strides=1, padding='same', use_bias=True)(x)
    x = h_swish(x)
    x = layers.Dropout(0.2)(x)
    
    outputs = layers.Conv2D(num_classes, 1, strides=1, padding='same', activation='softmax')(x)
    outputs = layers.Flatten()(outputs)
    
    return Model(inputs, outputs)

2. 修正后的数据加载与训练代码 #

from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.optimizers import Adam

# 数据加载与增强
train_datagen = ImageDataGenerator(
    rescale=1./255,
    horizontal_flip=True,
    rotation_range=15,
    zoom_range=0.1,
    width_shift_range=0.1,
    height_shift_range=0.1
)

val_datagen = ImageDataGenerator(rescale=1./255)

train_generator = train_datagen.flow_from_directory(
    'train_dir',
    target_size=(224,224),
    batch_size=64,
    class_mode='categorical'  # 若标签为整数则用'sparse'
)

val_generator = val_datagen.flow_from_directory(
    'val_dir',
    target_size=(224,224),
    batch_size=64,
    class_mode='categorical'
)

# 模型初始化与训练
model = mobilenetv3_small(num_classes=train_generator.num_classes)
model.compile(
    optimizer=Adam(learning_rate=1e-4),
    loss='categorical_crossentropy',  # 对应class_mode='categorical'，若为sparse则用'sparse_categorical_crossentropy'
    metrics=['accuracy']
)

# 添加学习率调度与早停
callbacks = [
    tf.keras.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.5, patience=3, min_lr=1e-6),
    tf.keras.callbacks.EarlyStopping(monitor='val_loss', patience=5, restore_best_weights=True)
]

history = model.fit(
    train_generator,
    epochs=50,
    validation_data=val_generator,
    callbacks=callbacks
)

训练优化方案 #

• 调整输入尺寸：将输入从80x80提升至224x224，保证模型能提取足够的语义特征；若受限于硬件，最低不低于128x128。
• 强化数据增强：添加随机翻转、旋转、缩放等操作，提升模型泛化能力，避免因样本量小导致的快速收敛。
• 优化器与学习率：采用初始学习率1e-4的Adam优化器，搭配ReduceLROnPlateau动态调整学习率，防止模型震荡或停滞。
• 匹配损失函数：严格按照标签格式选择损失函数，整数标签用sparse_categorical_crossentropy，one-hot标签用categorical_crossentropy。
• 添加训练回调：使用早停（EarlyStopping）保存最优权重，避免过拟合；学习率调度器在损失停滞时降低学习率，帮助模型继续收敛。
• 可选：迁移学习：若从零训练效果仍不佳，可加载MobileNetV3 Small的预训练权重（排除分类头），冻结部分底层权重后微调，大幅提升训练效率与效果。

内容的提问来源于stack exchange，提问作者elbarto