LSTM模型用PyTorch计算准确率为0但预测匹配度高的问题

一、核心问题排查方向 #

• 循环内前向输出有效性检查
  首先要确认验证循环内的output是当前批次输入经模型前向得到的结果：不少人写验证代码时会漏掉模型前向的步骤，直接用进入验证流程前残留的output值做计算，这种情况下残留值一般是训练集最后一个batch的输出，和验证集标签匹配率极低，很容易算出全0的准确率。从你贴出的逐batch打印结果看，同批次的预测值和标签逐位对应，这一步大概率没有问题，但需要确认每个批次的输入是否都迁移到了和模型、输出相同的设备上，避免设备不匹配带来的隐式错误。
• 跨设备累加的静默值丢失
  你现在用CPU端的Python原生浮点数0.0当累加计数器，而torch.sum(...)的计算结果是存在CUDA上的0维张量。虽然PyTorch支持跨设备的标量运算，但如果计算过程中张量开启了梯度追踪、计算图没有及时释放，很容易出现累加值没有正确同步到Python浮点数的情况，导致计数器从一开始就没真正加上单批次的正确数，一直停留在初始的0.0，最后算出来的准确率自然是0.000。你可以在累加步骤后直接打印单批次的正确数、累计正确数两个值，就能快速定位是不是累加环节出了问题。
• 形状对齐问题
  topk(1)返回的类别张量形状是[batch_size, 1]，如果直接全局squeeze，遇到单样本批次时会把所有维度为1的轴全部挤压成标量，和一维的标签张量做广播比较时不会报错，但计数逻辑会偏离预期。

二、PyTorch原生的正确实现 #

完全不需要转numpy，遵循原生张量运算的逻辑，最稳妥的实现流程是：

1. 验证阶段先切换模型为eval模式，用torch.no_grad()包裹整个循环，关闭梯度追踪，降低显存占用、加快计算速度
2. 用和模型同设备的PyTorch张量作为累加计数器，避免跨设备的隐式同步问题
3. 仅在计算最终准确率时，把CUDA端的标量值用.item()取出，全程不涉及numpy转换
   参考代码：

# 初始化时和模型使用相同设备
model_device = next(model.parameters()).device
model.eval() # 切换到验证模式
total_correct = torch.tensor(0, device=model_device)
total_sample = 0

with torch.no_grad(): # 关闭梯度追踪
    for inputs, labels in dataloader(valid_features, valid_labels, batch_size=batch_size, sequence_length=20):
        # 把批次数据迁移到模型所在设备
        inputs = inputs.to(model_device)
        labels = labels.to(model_device)
        
        # 前向计算输出，替换原来可能残留的旧output值
        outputs = model(inputs)
        
        # 直接对logits取最高类别，无需额外做exp操作——topk是单调排序运算，对logits和概率值的排序结果完全一致，还能避免exp溢出的问题
        _, pred_classes = outputs.topk(1, dim=1)
        
        # 仅挤压类别维度做形状对齐，避免全局squeeze的副作用
        is_match = pred_classes.squeeze(dim=1) == labels.squeeze(dim=1)
        
        # 在同设备的张量上完成累加
        total_correct += torch.sum(is_match)
        total_sample += labels.shape[0]

# 最后把CUDA上的计数标量取出，计算最终准确率
acc = total_correct.item() / total_sample
print(f"Accuracy: {acc:.3f}")

三、额外优化提示 #

• 不需要特意调用torch.exp(output)把logits转成概率再取topk：对于类别排序来说，单调变换不会改变排序结果，这步操作不仅冗余，还可能因为logits值过大出现exp溢出得到nan，反而干扰计算。
• 计算匹配时尽量显式指定squeeze的维度，不要直接调用无参数的squeeze()，避免不同batch size下的形状意外变化导致比较逻辑出错。
• 如果需要长期维护指标，可以使用PyTorch官方生态的torchmetrics.Accuracy类实现，完全基于原生张量运算，不需要手动写累加逻辑，还支持分布式训练的精度聚合。

内容的提问来源于stack exchange，提问作者roberto tomás