如何提升基于患者主诉的多标签序列文本分类模型准确率？

问题背景 #

输入为患者主诉分词后padding的序列（如[22,10,4,5,0,0,0,0]），输出为850种诊断的独热编码（多标签分类）。当前训练的模型50轮后准确率始终低于30%，模型结构如下：

model = Sequential()
# Configuring the parameters
model.add(Embedding(vocab_size, output_dim=858, input_length=len(X_train)))
model.add(LSTM(128*2, return_sequences=True))  
# Adding a dropout layer
model.add(Dropout(0.5))
model.add(LSTM(64*2))
model.add(Dropout(0.5))
# Adding a dense output layer with sigmoid activation
model.add(Dense(858, activation='sigmoid'))
model.summary()
model.compile(optimizer='adam', loss='binary_crossentropy',metrics=['accuracy'])

核心优化方向 #

1. 替换评估指标 #

多标签分类场景下，accuracy完全不适用——只有当样本的850个标签全预测正确才算准确，这在实际中几乎不可能。建议改用以下指标：

• 精确率（Precision）、召回率（Recall）、F1值（宏/微平均）
• Hamming损失（衡量预测与真实标签的平均差异）
  先换指标评估模型真实性能，可能准确率低但其他指标已经达标。

2. 模型结构调整 #

• Embedding层优化：output_dim=858完全没必要，Embedding维度和输出类别数无关，建议改为64/128/256这类合理值，减少参数冗余。同时确认input_length是统一的样本序列长度（不是单样本长度len(X_train)，应该是所有样本padding后的固定长度）。
• LSTM层改进：改用Bidirectional(LSTM(...))捕捉双向语义，主诉文本的前后语境对诊断都有价值；另外，输出层Dense(858)要和实际诊断类别数850对齐，避免无效参数。
• 简化结构防过拟合：如果样本量不大，两层LSTM可能过于复杂，试试单LSTM层+全连接层的组合，降低过拟合风险。

3. 数据层面优化 #

• 解决类别不平衡：850个诊断必然存在大量稀有类别，模型会偏向常见诊断。训练时加入class_weight参数，给稀有类别更高权重；或者对稀有类别样本做过采样，对常见类别做欠采样。
• 文本预处理升级：目前仅做了分词和padding，建议补充：
  • 修正拼写错误（比如示例中的cought改为cough）
  • 去除停用词（如标点、无意义虚词）
  • 标准化医学术语（统一同义词表述）
• 合理设置序列长度：不要盲目padding到最长样本长度，取样本长度的95分位数作为固定长度，减少无效的0填充干扰。

4. 训练策略调整 #

• 调整学习率：Adam默认0.001的学习率可能过大，导致模型震荡无法收敛，试试0.0001，或者加入ReduceLROnPlateau回调，当验证集loss停滞时自动降低学习率。
• 加入早停机制：用EarlyStopping回调，当验证集loss连续多轮不下降时停止训练，避免过拟合或无效训练。
• 调整批量大小：试试32/64/128的batch_size，太小会导致训练不稳定，太大则占用过多内存，找到适合自己数据集的批量。

5. 进阶尝试 #

• 使用预训练医学词向量：不用随机初始化的Embedding，改用BioBERT、PubMedBERT这类医学领域预训练模型的词向量，或用医学语料训练Word2Vec，让模型一开始就具备医学语义基础。
• 切换Transformer架构：LSTM在处理文本语义上不如Transformer，试试用DistilBioBERT这类轻量版医学Transformer做文本编码，再接分类层，这类模型在医学文本分类任务上表现普遍优于LSTM。

内容的提问来源于stack exchange，提问作者Fırat Doğan