BERT句子转嵌入操作无法复现，相同输入每次运行结果不一致

核心原因 #

结果不稳定问题由两个常见因素导致：

• 加载后的BERT模型默认处于训练模式，内置的Dropout等随机运算模块每次执行都会产生随机扰动，导致输出差异
• 未固定PyTorch全局随机种子，不同运行环境下的随机数序列不一致

修复步骤 #

1. 模型加载完成后调用model.eval()切换到推理模式，禁用Dropout等训练专属随机逻辑
2. 固定所有相关随机种子，保证运算过程可复现
3. 若使用GPU推理，额外配置CUDA相关确定性参数
4. 推理阶段添加torch.no_grad()上下文管理器，关闭梯度计算避免无关变量干扰，同时也能降低显存开销

修复后代码 #

import torch
from pytorch_pretrained_bert import BertTokenizer, BertModel, BertForMaskedLM

# 固定所有随机种子
seed = 42
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False

# 加载模型与分词器
model = BertModel.from_pretrained('bert-base-uncased')
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
# 切换到推理模式
model.eval()

text = "[CLS] This is a sentence. [SEP]"
tokens = tokenizer.tokenize(text)
input_ids = torch.tensor([tokenizer.convert_tokens_to_ids(tokenizer.tokenize(text))])

with torch.no_grad():
    encoded_layers, pooled_output = model(input_ids, output_all_encoded_layers=False)

内容的提问来源于stack exchange，提问作者Jiadong Chen