Keras/TensorFlow多输出分类CNN模型架构问题排查与优化问询

核心需求 #

• 输入：1024×10的二维矩阵
• 输出：1024个取值范围在[0.0, 1.0]的数值，每个数值对应输入矩阵的一行，代表该行属于目标类的概率（1.0为是，0.0为否）

当前实现的模型架构 #

from keras.models import Sequential
from keras.layers import Conv2D, Conv1D
from keras.layers import Dropout
from tensorflow.keras.optimizers import Adam

def define_model_2D_CNN():
    model = Sequential()
    model.add( Conv2D(64, (1,10), activation='relu', padding='valid', input_shape=(1024, 10, 1)))
    model.add( Conv2D(128, (3,1), activation='relu', padding='same', ))
    model.add( Conv2D(1, (3,1), activation='sigmoid', padding='same', ))
    opt = Adam(learning_rate=0.0005)
    model.compile(optimizer=opt, loss='binary_crossentropy', metrics=['accuracy'])
    return model

模型结构摘要 #

Model: "sequential_36"
Layer (type)                 Output Shape              Param #   
conv2d_40 (Conv2D)           (None, 1024, 1, 64)       704       
conv2d_41 (Conv2D)           (None, 1024, 1, 128)      24704     
conv2d_42 (Conv2D)           (None, 1024, 1, 1)        385       
Total params: 25,793
Trainable params: 25,793
Non-trainable params: 0

现存难点与训练异常 #

核心难点 #

• 跨不同轴的卷积操作设计
• 多输出的二分类任务（每行对应一个二分类判断）
• 输出层滤波器数量从128骤降到1的参数压缩
• 用Conv2D替代全连接层以保留行间关联

训练异常表现 #

模型可正常编译训练，但训练集上的预测向量接近恒定值，与预期结果偏差极大；由于全连接层会破坏行间关联信息，因此不考虑使用。

已验证的有效解决方案 #

切换损失函数为binary_crossentropy后，模型已恢复正常工作。

补充优化建议 #

1. 滤波器过渡优化：当前从128直接降到1的参数压缩过于剧烈，可在中间添加一层Conv2D（比如32个滤波器）做过渡，缓解信息丢失问题，示例代码：

   model.add(Conv2D(32, (3,1), activation='relu', padding='same'))
   model.add(Conv2D(1, (3,1), activation='sigmoid', padding='same'))
   

2. 增加Dropout层：在卷积层之间加入Dropout（如model.add(Dropout(0.2))），防止过拟合，提升模型泛化能力。
3. 尝试Conv1D架构：考虑将输入视为1024个长度为10的序列，用Conv1D处理可能更贴合任务特性，示例代码：

   def define_model_1D_CNN():
       model = Sequential()
       model.add(Conv1D(64, 10, activation='relu', padding='valid', input_shape=(1024, 10)))
       model.add(Conv1D(128, 3, activation='relu', padding='same'))
       model.add(Conv1D(1, 3, activation='sigmoid', padding='same'))
       opt = Adam(learning_rate=0.0005)
       model.compile(optimizer=opt, loss='binary_crossentropy', metrics=['accuracy'])
       return model
   

内容的提问来源于stack exchange，提问作者RunTheGauntlet