如何让Keras Sequential模型脱离局部最小值？

模型结构的核心问题 #

你当前用的全连接网络完全不适合图像分类任务：

• 472×696的图像展平后有328512个特征，全连接层会丢弃图像的空间结构信息（比如信号的边缘、纹理这类关键区分特征），把所有像素当成独立特征处理，这是模型效果差的根本原因。
• 输出层与损失函数不匹配：二分类场景下，你用Dense(2, activation='sigmoid')搭配SparseCategoricalCrossentropy，但SparseCategoricalCrossentropy对应多分类的softmax输出，二分类更适合单节点sigmoid输出搭配BinaryCrossentropy损失函数。

具体改进步骤 #

1. 替换为卷积神经网络（CNN） #

CNN专门针对图像空间特征设计，能有效提取信号与背景的区分特征，以下是基础CNN结构示例：

model = tf.keras.Sequential([
    # 卷积+池化层：提取空间特征
    tf.keras.layers.Conv2D(32, (3, 3), activation='relu', input_shape=(472, 696, 1)),  # 灰度图填1，RGB填3
    tf.keras.layers.MaxPooling2D((2, 2)),
    tf.keras.layers.Conv2D(64, (3, 3), activation='relu'),
    tf.keras.layers.MaxPooling2D((2, 2)),
    tf.keras.layers.Conv2D(64, (3, 3), activation='relu'),
    # 全连接层：分类决策
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(1, activation='sigmoid')  # 二分类单节点输出
])

2. 修正损失函数与编译配置 #

针对标签为0/1整数的二分类任务，调整编译参数：

model.compile(
    optimizer='adam',
    loss=tf.keras.losses.BinaryCrossentropy(),
    metrics=['accuracy']
)

3. 图像预处理 #

原始图像像素值在0-255区间，数值过大会导致训练不稳定（你第一个epoch损失高达45就是这个原因），必须归一化：

# 归一化到0-1区间
train_images = train_images / 255.0
# 测试集需执行相同预处理
test_images = test_images / 255.0

4. 优化训练策略 #

• 增加训练轮次：6个epoch不足以让CNN收敛，建议先尝试20-30个epoch，同时加入早停机制防止过拟合：

  early_stopping = tf.keras.callbacks.EarlyStopping(monitor='val_loss', patience=3, restore_best_weights=True)
  model.fit(
      train_images, train_labels,
      epochs=30,
      validation_split=0.1,  # 用10%训练数据做验证
      callbacks=[early_stopping]
  )
  

• 检查数据平衡性：如果背景/信号样本数量差距过大，需设置类权重或做数据增强：

  # 假设信号样本占比20%，背景占80%，设置类权重
  class_weight = {0: 0.2, 1: 0.8}
  model.fit(..., class_weight=class_weight)
  

为什么之前的调整没用？ #

换激活函数（ReLU→LeakyReLU）或优化器（Adam→SGD）都是小调整，没有解决全连接网络无法处理图像空间特征这个核心问题，所以无法提升效果。

内容的提问来源于stack exchange，提问作者DW_T