如何在HuggingFace中从头初始化GPT2 XL及验证方法有效性

我需要确认GPT-2模型是从头训练而非使用预训练权重，为此设计了以下验证方案：

• 加载预训练GPT-2 XL模型：使用AutoModelForCausalLM.from_pretrained("gpt2-xl")加载模型，计算权重总L2范数。
• 从头初始化新模型：通过GPT2Config自定义配置，初始化全新GPT-2模型。
• 对比L2范数：计算两个模型的权重L2范数，假设从头初始化模型的范数远小于预训练模型。

对应的代码片段：

import torch
from transformers import GPT2LMHeadModel, GPT2Config, AutoModelForCausalLM

# Step 1: Load the pre-trained GPT-2 XL model
pretrained_model = AutoModelForCausalLM.from_pretrained("gpt2-xl")

# Step 2: Calculate the L2 norm of the weights for the pre-trained model
pretrained_weight_norm = 0.0
for param in pretrained_model.parameters():
    pretrained_weight_norm += torch.norm(param, p=2).item()

print(f"Total L2 norm of pre-trained model weights: {pretrained_weight_norm:.2f}")

# Step 3: Initialize a new GPT-2 model from scratch with custom configuration
config = GPT2Config(
    vocab_size=52000,  # Ensure this matches the tokenizer's vocabulary size
    n_ctx=1024,  # Context window size (number of tokens the model can see at once)
    bos_token_id=0,  # Begin-of-sequence token
    eos_token_id=1,  # End-of-sequence token
)
model = GPT2LMHeadModel(config)

# Step 4: Calculate the L2 norm of the weights for the freshly initialized model
scratch_weight_norm = 0.0
for param in model.parameters():
    scratch_weight_norm += torch.norm(param, p=2).item()

print(f"Total L2 norm of model initialized from scratch: {scratch_weight_norm:.2f}")

执行结果：预训练模型权重总L2范数为24542.74，从头初始化模型为1637.31。

现询问：该方法是否能有效验证模型未使用预训练权重？是否存在问题或更优方式？

方法的有效性 #

这种L2范数对比的方法在大部分场景下可作为初步验证手段。预训练模型经过大量语料训练后，权重因学习语言特征被大幅更新，L2范数通常远大于随机初始化的模型，你得到的结果也符合这个规律，能从侧面说明目标模型更接近随机初始化状态，而非直接使用预训练权重。

存在的问题 #

• 训练后的从头模型范数可能接近预训练模型：如果目标模型已完成长时间从头训练，权重L2范数会逐渐增大，甚至接近预训练模型的数值，此时无法通过范数区分。
• 部分预训练权重微调的混淆：若对方仅使用部分预训练权重（比如仅加载嵌入层），其余层随机初始化，总范数会介于两者之间，导致判断误差。
• 初始化方式的干扰：如果目标模型采用和你测试不同的随机初始化策略（比如不同方差、初始化方法），其初始范数可能与你的测试值有差异，影响判断。

更优验证方式 #

• 直接对比权重哈希值：对模型每个参数张量计算哈希值，与预训练模型的参数哈希逐一对比。若完全使用预训练权重，哈希值会完全一致；若为从头初始化，哈希值几乎不可能重合。
• 参数分布统计对比：统计模型各层参数的均值、方差、直方图分布。预训练模型的参数分布会呈现明显聚类特征（因学习到特征），而随机初始化模型的参数更接近正态分布。
• 零样本任务测试：预训练GPT-2在常识问答、文本补全等零样本任务上有明显表现，未训练的从头初始化模型输出会完全混乱甚至是无意义乱码。若目标模型已训练，可对比同训练步数的从头训练模型与微调预训练模型的任务表现，两者差距会非常显著。

内容的提问来源于stack exchange，提问作者Charlie Parker