单二分类输出神经网络的BCELoss weight参数设置与计算

错误原因 #

你之前传入的(.97, .03)是两个元素的张量，但nn.BCELoss的weight参数要求与输入（即每个样本的预测值）的维度完全匹配——你的batch size是16，所以weight需要是16个元素的张量，每个元素对应一个样本的损失权重，这就是报错的核心原因。

权重计算方法 #

针对97%类0、3%类1的不平衡数据，我们需要给少数类（类1）的损失设置更高权重，常见的计算方式有两种：

• 反向比例法：类1权重 = 类0占比 / 类1占比 = 0.97 / 0.03 ≈ 32.33；类0权重设为1（也可以反过来，只要保持权重比例正确即可）
• 总样本数归一法：假设总样本数为N，类0样本数为0.97N，类1为0.03N，则：
  • 类0权重 = N / (2 * 0.97N) ≈ 0.515
  • 类1权重 = N / (2 * 0.03N) ≈ 16.67

两种方法的本质都是让少数类的损失被放大，模型更关注少数类的学习。

正确传入方式 #

在每个batch中，根据样本的真实标签生成对应权重张量，示例代码如下：

import torch
import torch.nn as nn

# 假设当前batch的真实标签y_true，形状为(16,)，元素是0或1
y_true = torch.randint(0, 2, (16,))
# 用反向比例法生成权重
weight = torch.where(y_true == 1, torch.tensor(32.33), torch.tensor(1.0))
# 确保权重和模型在同一设备（比如GPU）
weight = weight.to(y_true.device)

# 初始化BCELoss
bce_loss = nn.BCELoss(weight=weight)

# 假设模型输出preds，形状为(16,)，是经过Sigmoid后的概率值
preds = torch.rand(16,)
loss = bce_loss(preds, y_true.float())

额外提示 #

如果你的模型最后一层没有加Sigmoid，推荐使用nn.BCEWithLogitsLoss，它会自动完成Sigmoid计算，weight参数的使用方式和BCELoss完全一致，数值计算更稳定。

内容的提问来源于stack exchange，提问作者John David Deatherage