PyTorch中__init__定义层与forward直接使用层的区别及疑问

Great question! Let's break this down clearly—this is a super common point of confusion when you're getting comfortable with PyTorch's module system.

核心区别：参数追踪与复用 #

1. 在__init__中定义层，forward中调用 #

这是PyTorch官方推荐的标准写法，好处太多了：

• 参数自动注册：所有在__init__中定义的nn.Module子类实例（比如nn.Conv2d、nn.Linear）都会被PyTorch自动识别为模型的可训练参数。这意味着调用model.parameters()时能拿到这些参数，优化器也能正确地对它们进行反向传播更新。
• 层实例复用：层只在模型初始化时创建一次，之后每次前向传播都复用同一个实例。这样不仅避免了重复初始化的性能开销，还保证了参数在所有前向传播中是共享的（这是绝大多数模型的需求）。
• 模型保存/加载友好：模型的state_dict会自动包含这些层的参数，用torch.save(model.state_dict())保存后，加载时能完整恢复模型的权重。

举个标准示例：

class StandardModel(nn.Module):
    def __init__(self):
        super().__init__()
        # 在__init__中定义所有层
        self.conv = nn.Conv2d(in_channels=3, out_channels=16, kernel_size=3)
        self.relu = nn.ReLU()
        self.fc = nn.Linear(16*30*30, 10)

    def forward(self, x):
        # 复用__init__中定义的层实例
        x = self.conv(x)
        x = self.relu(x)
        x = torch.flatten(x, 1)
        x = self.fc(x)
        return x

2. 直接在forward中定义并使用层 #

这种写法要非常小心，因为它的行为和你预期的可能完全不一样：

• 参数不被追踪：如果在forward里直接创建nn.Module实例（比如conv = nn.Conv2d(...)），这个层的参数不会被注册到模型的参数列表中。反向传播时，这些参数不会被更新，而且每次前向传播都会重新初始化一次——相当于每次都用随机权重计算，完全没有训练意义。
• 唯一例外：Functional API：如果你用PyTorch的functional接口（比如F.conv2d、F.relu），并手动在__init__中定义参数为nn.Parameter，那是可行的。但这需要你自己管理参数的初始化、注册，比标准写法麻烦很多，只适合有特殊动态逻辑的场景。

反面示例（完全不推荐）：

class BadPracticeModel(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
        # 每次forward都新建卷积层，参数随机且不被训练
        conv = nn.Conv2d(3, 16, 3)
        x = conv(x)
        # 这里的ReLU也是临时实例，虽然ReLU没有可训练参数，但没必要这么写
        x = nn.ReLU()(x)
        return x

Functional API的合法示例（特殊场景用）：

class FunctionalModel(nn.Module):
    def __init__(self):
        super().__init__()
        # 手动定义并注册卷积层的参数
        self.conv_weight = nn.Parameter(torch.randn(16, 3, 3, 3))
        self.conv_bias = nn.Parameter(torch.zeros(16))

    def forward(self, x):
        # 使用functional接口，传入手动管理的参数
        x = F.conv2d(x, self.conv_weight, self.conv_bias, padding=1)
        x = F.relu(x)
        return x

你的其他问题解答 #

是否需要将计算图中的所有层都在__init__中定义？ #

不是必须，但强烈推荐。PyTorch的nn.Module设计就是为了让你在__init__中声明可训练组件，这样它能自动帮你处理参数追踪、优化、保存加载等所有繁琐的事情。如果用Functional API手动管理参数，虽然可行，但容易出错，而且代码可读性差。

能否直接在forward()中定义并使用这些层？ #

可以，但几乎没有实用价值（除非是像nn.ReLU这种无参数的层，但即使是这种，也推荐在__init__中定义一次复用）。对于有可训练参数的层，在forward中定义会导致参数无法被训练，每次前向传播都用随机权重，完全达不到训练模型的目的。

内容的提问来源于stack exchange，提问作者AlphaGoMK