TensorFlow中U-Net输出Logits时，如何设置最后层偏置解决类别不平衡？

一、初始偏置的逻辑修正（与你的尝试差异极小） #

对于输出Logits的二值分割任务，我们希望模型初始状态下，当输入为0时，经过sigmoid转换后的概率等于正样本先验占比p=1/10000。根据sigmoid与Logits的关系：
$$\text{sigmoid}(bias) = p$$
推导得：
$$bias = \ln\left(\frac{p}{1-p}\right)$$
代入p=1/10000、1-p≈0.9999，计算得bias≈-9.2103。你使用的np.log(0.0001)结果接近这个值，所以偏置计算本身没问题，问题出在其他环节。

二、关键修正：匹配损失函数与Logits输出 #

模型输出为Logits时，必须在损失函数中指定from_logits=True，否则TensorFlow会默认对输出做sigmoid处理，导致损失计算逻辑与初始偏置的预期完全不符。示例代码：

# 正确配置损失函数
loss = tf.keras.losses.BinaryCrossentropy(from_logits=True)
model.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=1e-4),
    loss=loss,
    metrics=['accuracy', tf.keras.metrics.Recall()]  # 不平衡场景下Recall比Accuracy更具参考性
)

三、验证初始偏置是否生效 #

模型初始化后，可直接检查最后一层的偏置值，确认是否正确加载：

# 打印最后一层Conv2D的偏置
print(model.layers[-1].bias.numpy())

输出应接近-9.2103，说明偏置已正确设置。

四、针对极度不平衡数据集的额外优化策略 #

仅靠初始偏置不足以快速收敛，需结合以下方法：

• 加权损失：给正样本设置极高权重，抵消类别不平衡的影响：

  class_weight = {0: 1.0, 1: 9999.0}  # 权重比例为(1-p)/p
  model.fit(train_dataset, epochs=50, class_weight=class_weight)
  

• Focal Loss：降低易分类负样本的权重，聚焦于难分类的正样本，适合极端不平衡场景。自定义支持Logits的Focal Loss：

  def focal_loss(y_true, y_pred, alpha=0.25, gamma=2.0):
      y_true = tf.cast(y_true, tf.float32)
      # 基于Logits计算二元交叉熵
      ce_loss = tf.keras.losses.binary_crossentropy(y_true, y_pred, from_logits=True)
      # 计算调制因子
      pred_prob = tf.sigmoid(y_pred)
      pt = y_true * pred_prob + (1 - y_true) * (1 - pred_prob)
      focal_weight = tf.pow(1.0 - pt, gamma)
      # 类别加权
      alpha_weight = y_true * alpha + (1 - y_true) * (1 - alpha)
      total_loss = alpha_weight * focal_weight * ce_loss
      return tf.reduce_mean(total_loss)
  

  编译时使用该损失函数：

  model.compile(optimizer='adam', loss=focal_loss, metrics=['recall'])
  

• 正样本数据增强：仅对正样本区域做旋转、翻转、缩放等增强，提升正样本的多样性与有效数量。
• 过采样/欠采样：对正样本进行过采样（如复制、SMOTE），或对负样本进行欠采样，但需注意避免过拟合。

内容的提问来源于stack exchange，提问作者Thao Nguyen