Keras双向LSTM多标签分类：每个Token预测值一致问题排查

针对你遇到的Bi-LSTM模型每个Token预测值一致的问题，从以下几个方向逐一排查：

1. 模型结构与层配置 #

• 确认Bi-LSTM层是否设置了return_sequences=True：如果要对每个Token做序列级预测，必须开启这个参数，否则模型只会输出整个序列的最终状态，而非每个时间步的独立结果。
• 检查最后一层的包装逻辑：序列级多标签预测需要用TimeDistributed包裹Dense层，确保每个时间步的特征都经过独立的全连接计算，示例代码：

  model.add(Bidirectional(LSTM(64, return_sequences=True)))
  model.add(TimeDistributed(Dense(num_labels, activation='sigmoid')))
  

2. 激活函数与损失函数匹配 #

• 多标签分类必须用sigmoid作为最后一层的激活函数，每个标签独立输出0-1的概率；如果误用softmax，会强制输出和为1，若输入特征无差异，就会出现每个Token输出完全相同的情况。
• 损失函数对应使用binary_crossentropy，而非适用于单标签多分类的categorical_crossentropy。

3. 权重初始化问题 #

• 检查全连接层的初始化方式：如果手动设置了kernel_initializer='constant'这类固定值初始化，会导致所有神经元输出一致。保持默认的glorot_uniform或改用he_uniform即可。

4. 输入数据有效性 #

• 验证输入的Token特征是否有区分度：如果预处理后的输入（比如embedding输出、数值特征）所有Token的值完全相同，模型自然无法学习到差异。可以打印几个输入样本的特征矩阵，检查是否存在全相同的情况。

5. 训练状态验证 #

• 确认模型是否完成了足够轮次的训练：未训练的模型权重处于初始状态，输出大概率接近一致；如果训练轮次不足，loss未明显下降，也会出现这种现象。查看训练日志的loss曲线，确认模型是否在正常学习。

6. 正则化过度问题 #

• 若模型添加了L1/L2正则化，且系数设置过大，会导致权重被压制到相近值。可以暂时移除正则化，或降低正则化系数后重新训练测试。

内容的提问来源于stack exchange，提问作者Balkhrod