为何Andrej Karpathy的BigramLanguageModel无__call__仍可函数式调用？

问题背景 #

Andrej Karpathy的nanoGPT中定义了BigramLanguageModel类，代码如下：

class BigramLanguageModel(nn.Module):
    def __init__(self):
        super().__init__()
        ...

    def forward(self, x):
        ...

随后执行以下代码：

m = BigramLanguageModel(vocab_size)
logits, loss = m(xb, yb)

调用m()会自动执行forward()方法，仿佛存在调用forward()的__call__函数，但该类未显式定义__call__，请问这一机制如何实现？

解答 #

这是因为BigramLanguageModel继承自PyTorch的nn.Module类，而nn.Module已经内置实现了__call__方法。

当你调用模型实例（比如m(xb, yb)）时，实际上触发的是父类nn.Module的__call__方法，这个方法内部会完成以下核心逻辑：

• 自动调用我们在子类中定义的forward()方法，传入参数并获取返回值；
• 同时还会处理PyTorch模型的额外机制，比如执行注册的钩子函数（hooks）、管理模型的训练/评估状态、处理梯度计算的相关准备等，保证模型的完整运行流程。

简单来说，nn.Module的__call__是一个包装器，它把forward方法作为核心逻辑，同时附加了PyTorch框架所需的其他必要操作，这就是为什么我们只需要实现forward，就能通过调用实例来执行模型逻辑的原因。

内容的提问来源于stack exchange，提问作者RussAbbott