BertForSequenceClassification预测出现CPU/CUDA张量设备不匹配错误

报错的核心原因是输入张量已经被迁移到GPU（cuda:0），但模型本身还在CPU上，两边设备不匹配触发了运行时错误。你之前修改torch.load的map_location参数无效，是因为该参数仅控制权重文件加载时的存储设备，from_pretrained初始化完成的模型默认仍然挂载在CPU上，必须手动迁移。

另外你的代码存在执行顺序错误：你先加载了模型，之后才定义device变量，就算加了模型迁移代码也会找不到变量。

按以下步骤修改即可解决问题：

1. 调整代码执行顺序，先完成设备判定，再加载模型
2. 模型加载完成后手动调用to()方法迁移到指定设备

修正后的代码示例：

# 第一步：优先判定运行设备
if torch.cuda.is_available():
 device = torch.device("cuda") 
 print('可用GPU数量: %d' % torch.cuda.device_count()) 
 print('使用GPU: {}'.format(torch.cuda.get_device_name(0))) 
else:
 print('无可用GPU，使用CPU运行')
 device = torch.device("cpu")

# 第二步：加载模型
model_state_dict = torch.load("../MODELOS/TRANSFORMERS/TransformersNormal",  map_location=device) 
model = BertForSequenceClassification.from_pretrained(pretrained_model_name_or_path="bert-base-uncased", state_dict=model_state_dict, cache_dir='./data')
# 第三步：将模型整体迁移到指定设备
model = model.to(device)

如果后续仍有同类报错，可以在前向传播代码前添加打印语句确认设备：

# 加在outputs = model(...)之前即可
print("输入设备:", b_input_ids.device, "模型设备:", next(model.parameters()).device)

你原有的数据加载、resultados函数逻辑不需要修改，已经正确完成了输入批次的设备迁移操作。

内容的提问来源于stack exchange，提问作者Pablo Cordon