GPT-2正向传播是否依赖输出logits？修改lm_head后隐藏态异常

首先明确：你观察到的隐藏状态差异，核心原因是GPT-2的输出层（lm_head）与输入词嵌入层（transformer.wte）默认是权重共享的。

具体原因 #

在HuggingFace的GPT2LMHeadModel实现中，模型初始化时会自动调用tie_weights()方法，将lm_head.weight和transformer.wte.weight绑定为同一个张量。也就是说：

• 你修改model.lm_head的权重时，实际上也修改了输入词嵌入层的权重
• 输入词嵌入是模型前向传播的第一层，输入嵌入发生变化后，后续所有隐藏层的计算结果自然会不同

验证与解决方法 #

• 验证权重共享：执行代码print(model.lm_head.weight is model.transformer.wte.weight)，结果会返回True，证明两者是同一个张量
• 若需单独修改lm_head且不影响输入嵌入：
  1. 解除权重绑定：调用model._tie_weights(False)（不同版本方法名可能略有差异，也可手动创建新层替换）
  2. 创建独立输出层：比如执行model.lm_head = nn.Linear(model.config.hidden_size, model.config.vocab_size, bias=False)，新的lm_head权重将独立于输入嵌入层，修改它不会影响前面的隐藏层计算

补充说明 #

你对GPT-2前向传播的理解是正确的：eval模式下的正向调用不会使用生成的logits作为输入，每个token仅关注左侧上下文。但权重共享这个细节容易被忽略，导致修改输出层时意外影响了输入层。

内容的提问来源于stack exchange，提问作者Raj