TensorFlow二分类模型同时用ReLU、Sigmoid及双Dropout的原因

两种激活函数同时使用的原因 #

ReLU和Sigmoid在模型里处于完全不同的位置，承担的任务没有重叠，不存在选型冲突：

• 隐藏层使用ReLU：ReLU位于LSTM之后的第一个全连接层后，作用是为隐藏层提供非线性变换能力。垃圾邮件识别需要学习的文本特征（比如特定关键词组合、文本格式特征、时序语义关联）不是线性可分的，必须靠非线性激活才能让模型拟合复杂的特征规则。相比Sigmoid、Tanh等传统激活函数，ReLU正区间不存在梯度消失问题，计算速度快，是当前深度学习隐藏层激活函数的标准选型，能大幅提升隐藏层的训练效率。
• 输出层使用Sigmoid：Sigmoid位于整个模型的最末端，作用是把输出层的原始计算值映射到[0,1]区间，输出结果直接对应样本为垃圾邮件的概率值，完全匹配二分类任务的输出要求，也和训练时使用的二元交叉熵损失函数的输入要求适配。

层结构设计的考量 #

你提到的2个激活层、2个Dropout层是文本二分类LSTM模型的常规配置，设计逻辑如下：

2个激活层的设计逻辑 #

示例代码把激活函数从Dense层的参数中拆成了独立层，和直接写Dense(units=xx, activation='relu')的效果完全一致，拆成独立层的好处是方便调试时快速替换激活函数、导出中间层输出，不需要修改Dense层的配置。两个激活层分别对应隐藏层非线性特征变换、输出层概率映射两个独立步骤，不属于冗余设计。

2个Dropout层的设计逻辑 #

你看到的代码属于简写版本，常规配置下第一个Dropout会放在LSTM层输出之后，第二个Dropout放在ReLU激活之后，两个Dropout从不同阶段降低模型过拟合风险：

• Dropout的核心作用是训练时随机失活一定比例的神经元，强制模型不依赖少数几个强特征做判断，避免模型死记硬背训练集的样本特征，提升在未知数据上的泛化能力。垃圾邮件识别场景非常容易过拟合：比如训练集里带「中奖」关键词的全是垃圾邮件，模型很容易学到只要出现「中奖」就直接判定为垃圾邮件，但正常邮件也可能出现「中奖抽到演唱会门票」这类合法内容，Dropout能有效缓解这类问题。
• 两个Dropout作用在特征提取的不同阶段：LSTM后的Dropout负责随机丢弃部分时序特征，避免模型过拟合训练集里特定的文本序列模式；全连接层ReLU后的Dropout负责随机丢弃部分高阶组合特征，避免模型过拟合训练集里特定的特征组合规则。实际调参时两个Dropout的失活率通常会设为不同值（比如LSTM后设0.2，全连接层后设0.5），不会影响最终输出层的概率稳定性。

注意：Dropout只会配置在隐藏层之间，不会放在紧邻Sigmoid输出层的位置，避免预测时输出概率出现不必要的波动。

对应的模型完整常规结构参考如下：

def tensorflow_model():
    # 输入层
    Input(shape=(max_seq_len,))
    # 词嵌入层
    Embedding(input_dim=vocab_size, output_dim=embed_dim)
    # LSTM时序特征提取层
    LSTM(units=lstm_units)
    Dropout(0.2) # 第一个Dropout，作用于时序特征
    # 全连接隐藏层
    Dense(units=dense_units)
    Activation("relu") # 第一个激活层，隐藏层非线性变换
    Dropout(0.5) # 第二个Dropout，作用于高阶组合特征
    # 输出层
    Dense(units=1)
    Activation('sigmoid') # 第二个激活层，输出0-1区间的分类概率

内容的提问来源于stack exchange，提问作者Rina