TensorFlow多输出LSTM模型中如何为特定输出赋予更高训练优先级

两种实现思路都可以，你可以根据自身业务需求和数据情况选择，具体说明如下：

完全可以通过自定义损失函数为不同输出列设置不同的惩罚权重，你当前的20个输出都是独立二分类任务，默认的二元交叉熵损失会对所有输出列的损失求平均，只要给每个输出列的损失值乘上对应权重再求和即可实现优先级倾斜。

TensorFlow实现参考代码如下：

import tensorflow as tf
import tensorflow.keras.backend as K

# 定义每个输出列的权重，长度和输出维度一致（20个值），示例中前3列为重要列，权重设为其他列的5倍
output_weights = tf.constant([5.0, 5.0, 5.0] + [1.0]*17, dtype=tf.float32)

def weighted_binary_crossentropy(y_true, y_pred):
    # 计算每个样本、每个输出列的二元交叉熵损失
    bce = K.binary_crossentropy(y_true, y_pred)
    # 对不同输出列的损失加权
    weighted_bce = bce * output_weights
    # 返回加权后的平均损失
    return K.mean(weighted_bce)

模型编译时指定自定义损失即可：

model.compile(optimizer='adam', loss=weighted_binary_crossentropy, metrics=['binary_accuracy'])

该方案的优势：

• 仅需维护一个模型，训练、部署成本极低
• 可以共享LSTM层提取的通用时序特征，数据量偏小时效果优于拆分建模
• 权重调整灵活，无需改动模型结构，仅调整权重值重新训练即可

该方案仅适合以下特殊场景：

• 重要输出列的特征规律和其他列差异极大，共享LSTM层的特征反而会拉低重要列的预测精度
• 重要输出列的模型需要单独迭代、调优、上线，和其他输出列的迭代节奏完全独立
• 数据量足够支撑每个独立模型的训练，不会出现小样本过拟合问题

该方案的劣势也很明显：需要维护多套模型，训练、部署成本会成倍提升，且无法共享通用时序特征，小数据量下效果可能远不如单模型加权方案。

优先测试加权损失的方案，只要重要输出列的精度能达到业务要求，就选择该方案；如果加权后重要列的精度依然达不到要求，再考虑拆分单独建模。

内容的提问来源于stack exchange，提问作者user16438416