赛事胜者预测任务：多分类场景下输出激活与损失函数选型建议

一、激活函数选择 #

你的场景是单标签多分类（每个样本仅对应一个胜者），优先推荐以下方案：

• 保留softmax作为输出层激活函数：softmax输出的6个类别概率和为1，完全匹配单标签多分类的one-hot标签逻辑，是这类任务的标准选择。此前尝试的sigmoid更适合多标签任务（允许多个类别同时为正），和你的业务场景不匹配，无需再尝试。
• 若需适配离散输出场景，可尝试Gumbel-Softmax：训练时用连续近似模拟离散采样，但核心优化仍应聚焦损失函数，softmax足以满足基础需求。

二、损失函数优化（核心解决假阳性问题） #

假阳性多意味着模型错误地将非胜者类别预测为高概率，需通过损失函数加重这类错误的惩罚力度，以下是针对性方案：

1. 带权重的类别交叉熵 #

给非正类（标签为0的位置）设置更高权重，让模型更重视“误判非胜者为胜者”的错误：

# 自定义加权类别交叉熵损失
def weighted_categorical_crossentropy(neg_weight=3.0):
    def loss(y_true, y_pred):
        cross_entropy = tf.keras.losses.categorical_crossentropy(y_true, y_pred)
        # 正类权重为1，非正类权重设置为neg_weight
        weight_mask = tf.where(y_true == 1, 1.0, neg_weight)
        return cross_entropy * weight_mask
    return loss

# 编译时调用
model.compile(loss=weighted_categorical_crossentropy(neg_weight=3.0), ...)

也可在训练时直接传入class_weight参数，给所有非正类设置统一权重：

class_weight = {0:3.0, 1:3.0, 2:3.0, 3:3.0, 4:3.0, 5:3.0}
model.fit(..., class_weight=class_weight)

2. Focal Loss（焦点损失） #

专门针对类别不平衡或难分类样本优化，通过降低易分类样本的权重，让模型聚焦于假阳性这类难分类错误：

def categorical_focal_loss(gamma=2.0, alpha=0.5):
    def loss(y_true, y_pred):
        # 避免log(0)的数值不稳定问题
        y_pred = tf.clip_by_value(y_pred, 1e-7, 1 - 1e-7)
        cross_entropy = -y_true * tf.math.log(y_pred)
        # 计算调制因子，降低易分类样本的损失占比
        p_t = tf.where(y_true == 1, y_pred, 1 - y_pred)
        focal_weight = tf.math.pow((1 - p_t), gamma) * alpha
        return tf.reduce_sum(focal_weight * cross_entropy, axis=-1)
    return loss

# gamma控制聚焦程度（值越大，越关注难分类样本），alpha控制类别权重
model.compile(loss=categorical_focal_loss(gamma=2.0, alpha=0.5), ...)

3. 自定义高置信度假阳性惩罚损失 #

如果假阳性是模型高置信度误判（比如非胜者的预测概率>0.5），可针对性加重这类错误的惩罚：

def penalize_high_conf_fp_loss(penalty_factor=5.0):
    def loss(y_true, y_pred):
        ce = tf.keras.losses.categorical_crossentropy(y_true, y_pred)
        # 标记高置信度假阳性位置
        fp_mask = tf.logical_and(tf.equal(y_true, 0), tf.greater(y_pred, 0.5))
        # 对高置信度假阳性损失乘以惩罚因子
        penalty = tf.where(fp_mask, penalty_factor, 1.0)
        return tf.reduce_sum(ce * penalty, axis=-1)
    return loss

model.compile(loss=penalize_high_conf_fp_loss(penalty_factor=5.0), ...)

三、辅助优化建议 #

• 修正评估指标：当前使用的BinaryAccuracy不适合多分类场景，应替换为CategoricalAccuracy；重点关注Precision（精确率）指标，假阳性多会直接拉低精确率，以此为核心优化目标。
• 数据平衡检查：若存在参赛方获胜次数差异过大的类别不平衡问题，先通过过采样少数类别、欠采样多数类别或合成数据解决。
• 模型结构精简：当前3层512神经元的Dense层过于庞大，易导致过拟合进而引发假阳性，可尝试减少神经元数量（如256→128）或提升L2正则化强度（从0.0001调整至0.001）。

调整后的示例代码 #

model = tf.keras.Sequential(
    [
        # 建议添加特征归一化层，提升模型稳定性
        # normalizer,
        tf.keras.layers.Dense(256, kernel_regularizer=tf.keras.regularizers.l2(0.001), activation='relu'),
        tf.keras.layers.Dropout(0.5),
        tf.keras.layers.Dense(256, kernel_regularizer=tf.keras.regularizers.l2(0.001), activation='relu'),
        tf.keras.layers.Dropout(0.5),
        tf.keras.layers.Dense(128, activation='relu'),
        tf.keras.layers.Dense(6, activation='softmax')  # 保留softmax适配单标签多分类
    ]
)
initial_learning_rate = 0.001
lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate,
    decay_steps=6000,
    decay_rate=0.96,
    staircase=True)

# 替换为多分类适配的指标
METRICS = [
    tf.keras.metrics.CategoricalAccuracy(name='accuracy'),
    tf.keras.metrics.Precision(name='precision'),
    tf.keras.metrics.Recall(name='recall'),
    tf.keras.metrics.AUC(name='prc', curve='PR'),  # PR曲线更适合关注精确率的场景
]

# 使用Focal Loss作为损失函数
model.compile(loss=categorical_focal_loss(gamma=2.0, alpha=0.5),
              optimizer=tf.keras.optimizers.Adam(learning_rate=lr_schedule),
              metrics=METRICS)

# 若存在类别不平衡，训练时传入class_weight
# model.fit(x_train, y_train, epochs=20, batch_size=32, class_weight=class_weight)

内容的提问来源于stack exchange，提问作者Will