LSTM二分类任务采用2单元softmax输出层是否优于1单元sigmoid配置？

从数学层面看，2单元softmax做二分类和1单元sigmoid做二分类是完全等价的，但在实际训练、工程使用的层面，前者有以下明显优势：

• 梯度更新逻辑更合理，训练稳定性更高

1单元sigmoid搭配binary_crossentropy的组合，仅会基于单输出的误差计算梯度，当样本预测置信度较高时容易出现梯度饱和问题；2单元softmax的输出天然满足两类概率和为1的约束，反向传播时会同时计算正、负类的预测误差，梯度信号更充分，能有效缓解LSTM深层训练时的梯度消失问题，在时序任务场景下的训练稳定性表现更突出。

• 输出结果的可读性和可扩展性更强

你可以直接从输出层拿到两类的独立置信度，不需要额外做1-p的换算就能同时查看两类的预测概率，方便后续做阈值调整、结果校验等操作；如果后续你的任务需要扩展为多分类，只需要修改输出层单元数即可，不需要调整输出层的激活函数和整体训练逻辑，迁移成本极低。

• 损失函数适配性更优

你当前使用的binary_crossentropy更适配单输出sigmoid的二分类场景，换成2单元softmax后可以搭配categorical_crossentropy损失，两者的匹配度更高，损失计算逻辑对类别差异的敏感度更强，更容易学到区分度高的时序特征，对提升你的二分类任务表现帮助更大。

内容的提问来源于stack exchange，提问作者Saket Vempaty