使用TorchMetrics与手动计算精确率、召回率结果差异异常排查

1. 核心错误：TorchMetrics指标未跨批次累积状态 #

TorchMetrics的BinaryPrecision、BinaryRecall等类是有状态指标，需要在整个epoch的所有批次中累积TP/FP/TN/FN等统计量，才能计算出整个数据集的准确指标。你当前的代码每次调用batch_metrics都重新创建指标实例，导致每次只计算当前单个批次的指标：

• 训练集是平衡分布，每个批次的正负样本比例稳定，单批次的精确率/召回率表现好；
• 验证/测试集可能单批次的正负样本分布波动大（比如某个批次正样本极少），单批次计算的精确率/召回率会大幅下降；
• 准确率在平衡数据集下，单批次和全局结果差异较小，所以看起来和手动计算接近。

修复方式：将指标实例的初始化放在batch_metrics函数外部，比如训练循环开始前，每个epoch前重置指标状态，然后在每个批次更新指标，最后在epoch结束时获取全局指标。示例代码：

# 初始化指标（放在训练/验证循环外）
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
accuracy_metric = BinaryAccuracy().to(device)
precision_metric = BinaryPrecision().to(device)
recall_metric = BinaryRecall().to(device)
roc_metric = BinaryAUROC().to(device)
stat_scores = BinaryStatScores().to(device)

def batch_metrics_update(y_real, y_logits):
    """仅更新指标状态，不返回单批次结果"""
    y_logits = torch.sigmoid(y_logits)
    accuracy_metric.update(y_logits, y_real)
    precision_metric.update(y_logits, y_real)
    recall_metric.update(y_logits, y_real)
    roc_metric.update(y_logits, y_real)
    stat_scores.update(y_logits, y_real)

def get_epoch_metrics():
    """获取整个epoch的累积指标"""
    acc = accuracy_metric.compute().item()
    precision = precision_metric.compute().item()
    recall = recall_metric.compute().item()
    auroc = roc_metric.compute().item()
    tp, fp, tn, fn, _ = stat_scores.compute()
    
    # 重置指标状态，为下一个epoch做准备
    accuracy_metric.reset()
    precision_metric.reset()
    recall_metric.reset()
    roc_metric.reset()
    stat_scores.reset()
    
    return acc, precision, recall, auroc, tp.item(), fp.item(), tn.item(), fn.item()

2. 验证阈值一致性 #

确认手动计算精确率/召回率时使用的阈值，与TorchMetrics指标的默认阈值一致：

• TorchMetrics的BinaryPrecision、BinaryRecall默认阈值是0.5；
• 你用BinaryStatScores手动计算时，是否是基于sigmoid(y_logits) >= 0.5来判定预测标签？如果手动计算用了不同阈值，会导致结果差异。

可以通过指定参数明确阈值，比如：

precision_metric = BinaryPrecision(threshold=0.5).to(device)

3. 检查数据集划分与数据加载 #

• 确认验证/测试集的类别分布确实是50%/50%，可能数据划分时出现偏差；
• 检查数据加载器的shuffle设置，验证/测试集是否关闭shuffle？如果没关闭，单批次的样本分布可能波动极大；
• 检查数据预处理流程，训练集和验证/测试集是否使用了相同的预处理（比如归一化参数是否只用训练集统计量，是否在验证/测试集上重复计算）。

4. 模型过拟合排查 #

虽然训练集准确率高，但精确率/召回率在验证集下降，也可能是模型过拟合：

• 检查模型复杂度，是否参数过多；
• 确认是否使用了正则化手段（比如Dropout、L2正则）；
• 查看训练集和验证集的损失曲线，是否验证集损失上升而训练集损失持续下降。

内容的提问来源于stack exchange，提问作者Ikaryssik