关于BertModel权重初始化与HuggingFace BERT模型头部的疑问

问题1：设置随机种子后两次初始化BertModel权重不一致 #

你遇到的问题是因为set_seed()并没有完全覆盖所有随机源。Hugging Face的set_seed()会设置Python、PyTorch、TensorFlow和NumPy的种子，但在PyTorch中，部分底层操作的随机状态可能还需要额外锁定，尤其是当使用CUDA时。另外，直接用AutoConfig初始化BertModel时，模型权重的初始化流程依赖的随机源可能没有被完全固定。

要确保两次初始化的权重完全一致，需要在调用set_seed()之外，手动固定PyTorch的全局种子和CUDA种子，示例代码如下：

import torch
from transformers import AutoConfig, BertModel, set_seed

# 完全锁定随机源
set_seed(30)
torch.manual_seed(30)
torch.cuda.manual_seed_all(30)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False

config = AutoConfig.from_pretrained('bert-base-uncased')
a = BertModel(config)
b = BertModel(config)

a_query = a.encoder.layer[0].attention.self.query.weight
b_query = b.encoder.layer[0].attention.self.query.weight

print(torch.all(a_query == b_query))  # 输出tensor(True)

问题2：BERT系列模型的任务头部是否预训练 #

分两种情况：

• 如果你用from_pretrained()方法加载预训练模型（比如BertForMaskedLM.from_pretrained('bert-base-uncased')），对应的任务头部是带有预训练权重的。比如BertForMaskedLM的MLM头部、BertForPretraining的MLM+NSP头部，都是在预训练阶段和编码器一起训练完成的。
• 如果你像代码中那样用AutoConfig从头初始化模型（BertModel(config)），所有权重包括任务头部都是随机初始化的，没有预训练权重。

另外补充：BertModel是基础的编码器结构，没有任务头部；BertForPretraining包含预训练阶段的两个任务头部（MLM和NSP）；BertForMaskedLM只保留MLM头部，这些头部的存在是为了适配不同的下游任务或预训练需求。

内容的提问来源于stack exchange，提问作者Kyumin Lee