PyTorch多标签分类中BCELoss的pos_weight应使用全量数据集还是训练集计算

必须仅基于训练集的正负样本分布统计计算pos_weight，不能使用验证集、测试集或全量数据集的统计结果

原因说明 #

• 避免数据泄露：验证集和测试集的定位是模拟模型上线后遇到的未知数据，用于客观评估模型的泛化能力。如果将这两部分的类别分布信息提前引入损失函数的权重计算，相当于模型在训练阶段就获取了未知数据的分布先验，最终得到的验证、测试指标会存在虚高，无法反映模型的真实效果。
• 加权目的匹配：类别加权的核心作用是修正训练过程中的学习偏差，避免模型为了降低整体损失，偏向于预测占比更高的负类，完全忽略少样本正类的召回。这个修正只需要匹配训练集的样本分布即可，不需要引入额外的域外数据信息。

PyTorch中基于训练集计算pos_weight的示例代码 #

假设训练集标签张量train_labels的形状为[训练样本数, 类别数]，每个元素取值为0（负样本）或1（正样本），计算方式如下：

import torch

# 逐类别统计正、负样本数量
pos_count = torch.sum(train_labels == 1, dim=0)
neg_count = torch.sum(train_labels == 0, dim=0)

# 计算pos_weight，BCELoss要求的pos_weight取值为 负样本数/正样本数
# 加入极小值避免除零错误
pos_weight = (neg_count + 1e-6) / (pos_count + 1e-6)

# 传入损失函数初始化
loss_fn = torch.nn.BCELoss(pos_weight=pos_weight)

内容的提问来源于stack exchange，提问作者sampath kumaran