Keras中Seq2Seq模型仅输出结束token问题及自定义损失函数需求

遇到这种部分场景下模型直接输出一串结束token的情况，大概率是模型在训练过程中找到了“偷懒”的捷径——输出结束token能快速降低损失，但这显然不是我们想要的结果。结合你的需求，我来分享下自定义损失函数的思路，以及其他可能的优化方向：

一、核心原因分析 #

模型之所以会这么做，通常和损失计算的逻辑有关：如果你的损失函数没有正确区分有效序列部分和结束后的冗余部分，模型会发现输出结束token后，后续所有位置的损失都很低（因为目标里也是结束token），自然就会直接输出一串结束token来“蒙混过关”。

二、自定义损失函数的实现方案 #

我们需要自定义一个损失函数，只对目标序列中第一个结束token之前的部分计算损失，之后的冗余结束token或padding不参与损失计算。这样模型就无法通过输出结束token来逃避学习，被迫生成有意义的序列。

下面是一个可直接复用的Keras自定义损失函数示例：

import tensorflow as tf
from tensorflow.keras import backend as K

def custom_seq2seq_loss(end_token_id=1548):
    def loss(y_true, y_pred):
        # 找到每个样本中第一个结束token的位置
        end_token_mask = tf.equal(y_true, end_token_id)
        first_end_pos = tf.argmax(tf.cast(end_token_mask, tf.int32), axis=1)
        # 创建序列mask：第一个end_token之前的位置为1，之后为0
        sequence_mask = tf.sequence_mask(first_end_pos, maxlen=tf.shape(y_true)[1], dtype=tf.float32)
        
        # 计算稀疏交叉熵损失（适配整数索引类型的目标序列）
        cross_entropy = K.sparse_categorical_crossentropy(y_true, y_pred)
        # 只保留有效部分的损失
        masked_loss = cross_entropy * sequence_mask
        
        # 求平均损失时，用有效损失总和除以有效位置数量，避免padding干扰
        return K.sum(masked_loss) / K.maximum(K.sum(sequence_mask), 1e-7)
    return loss

使用时，在编译模型时指定这个损失函数即可：

model.compile(optimizer='adam', loss=custom_seq2seq_loss(end_token_id=1548))

三、其他关键优化方向 #

除了损失函数，这些点也能帮你解决问题：

• 修复输入数据预处理：你的输入里有大量重复的结束token，这是不合理的。预处理时应该截断到第一个结束token，比如把输入处理成[2, 3, 123, 1548]，多余的重复end token只会干扰模型学习。
• 调整解码策略：如果用的是贪婪解码，试试beam search（比如tf.keras.utils.beam_search_decoder），或者加入temperature参数降低输出的确定性，避免模型过早输出结束token。
• 检查模型结构：如果你的Seq2Seq用了注意力机制，可视化注意力权重，看看模型是否真的关注到了输入的有效部分；也可以尝试增加编码器/解码器的层数或单元数，提升模型的表达能力。
• 优化训练策略：适当降低学习率，增加训练轮次，或者加入dropout、L2正则化防止过拟合——模型可能在某些场景下过拟合到了输出结束token的“捷径”上。

内容的提问来源于stack exchange，提问作者Ori Yampolsky