基于Keras的治疗性肽识别神经网络训练准确率不提升求解

你当前模型准确率稳定在51.88%接近随机猜测水平，核心是存在多个底层逻辑错误，直接导致模型无法学习有效特征：

• 样本与标签错位：你对特征和标签做了两次独立的shuffle操作，即使使用相同的random_state，两次shuffle也是完全独立的，最终特征和对应的标签完全不匹配，模型不可能学到正确的映射关系
• 模型参数设置错误：第二层全连接层额外加了input_dim=1的参数，和上一层输出的16维特征完全不匹配，直接破坏了特征传递逻辑
• 正则强度过高：小数据集下叠加三层0.5的Dropout，会丢失绝大多数有效特征，根本无法完成拟合
• 逻辑冗余：你写了PyTorch的Dataset、DataLoader逻辑，但实际训练用的是Keras的Sequential模型，这部分代码完全无效，也反映出代码逻辑没有对齐
• 训练参数混乱：提前定义的EPOCHS、BATCH_SIZE、LEARNING_RATE参数完全没有用到，训练时硬编码的batch_size=64对于只有160条的训练集来说过大，不利于小样本学习
• 嵌入维度不足：当前输入特征只有4维，Word2Vec嵌入的维度太低，无法承载肽序列的有效信息

落地优化步骤 #

1. 先修复样本标签匹配问题，将两次独立shuffle改为同步shuffle：

# 替换原来的两次单独shuffle
arrayvectors, labels = sklearn.utils.shuffle(arrayvectors, labels, random_state=1)

2. 修复模型架构错误，调整正则强度：

model = Sequential()
# 后续可以把Word2Vec嵌入维度调整到32或64，对应修改input_shape即可
model.add(Dense(32, activation='relu', input_shape=(4,)))
model.add(Dropout(0.1)) # 降低dropout比例，小样本场景甚至可以先去掉dropout
model.add(Dense(16, activation='relu')) # 删掉错误的input_dim=1参数
model.add(Dropout(0.1))
model.add(Dense(8,activation='relu'))
model.add(Dense(1,activation='sigmoid'))

3. 对齐训练参数，适配小数据集：

LEARNING_RATE = 0.001
# 定义带自定义学习率的优化器
opt = tf.keras.optimizers.Adam(learning_rate=LEARNING_RATE)
model.compile(loss='binary_crossentropy',optimizer=opt,metrics=['accuracy'])
# 用小batch训练，加入早停防止过拟合
early_stop = tf.keras.callbacks.EarlyStopping(monitor='loss', patience=20, restore_best_weights=True)
history = model.fit(X_train, y_train, epochs=200, batch_size=8, callbacks=[early_stop])

4. 小数据集优先跑基线验证特征有效性：
   先不用神经网络，用逻辑回归、线性SVM这类简单模型跑测试集准确率，如果基线模型准确率也只有50%左右，说明你的Word2Vec嵌入本身没有捕捉到正负样本的差异，需要回头调整Word2Vec的训练参数，比如调整k-mer分词长度、增大嵌入维度、扩大Word2Vec的训练语料。
5. 若条件允许尽量扩充数据集，200条样本对于神经网络来说太少，很容易出现过拟合或者欠拟合的问题，也可以通过肽序列的同义突变、合理截取做数据增强扩充样本量。

内容的提问来源于stack exchange，提问作者Ash Roy