PyTorch Transformer为何需要创建多个相同类型的层实例？

以下是你提到的PyTorch Transformer官方实现的对应代码片段：

self.linear1 = Linear(d_model, dim_feedforward, **factory_kwargs)
self.dropout = Dropout(dropout)
self.linear2 = Linear(dim_feedforward, d_model, **factory_kwargs)
self.norm1 = LayerNorm(d_model, eps=layer_norm_eps, **factory_kwargs)
self.norm2 = LayerNorm(d_model, eps=layer_norm_eps, **factory_kwargs)
self.norm3 = LayerNorm(d_model, eps=layer_norm_eps, **factory_kwargs)
self.dropout1 = Dropout(dropout)
self.dropout2 = Dropout(dropout)
self.dropout3 = Dropout(dropout)

问题1：为什么已经定义了参数相同的self.dropout，还要额外创建self.dropout1、self.dropout2、self.dropout3三个实例？ #

• Dropout层本身没有可训练参数，相同初始化参数的多个实例核心区别是各自维护独立的随机掩码生成逻辑，同一次前向传播中不同Dropout实例生成的失活掩码完全独立，符合Transformer中不同位置失活逻辑互不干扰的要求。
• 从代码可维护性角度考虑，分开命名不同位置的Dropout实例，后续如果需要针对不同位置调整失活概率、添加自定义逻辑时，不需要修改大量前向传播代码，直接调整对应实例的初始化参数即可。
• 这种设计也符合PyTorch的模块管理规范，所有Dropout作为子模块注册后，调用model.train()/model.eval()时会自动统一切换状态，不需要额外手动处理。

其中单独的self.dropout是用在前馈网络（FFN）两个线性层之间的，而dropout1/dropout2/dropout3分别对应自注意力输出、交叉注意力输出（仅解码器层有）、FFN输出后的残差连接前置Dropout，四个实例的作用位置完全不同。

问题2：代码中的self.linear1、self.linear2和通用的self.linear有什么区别？ #

不存在所谓的"通用self.linear"，这里的linear1和linear2是针对Transformer前馈网络（FFN）结构做的命名区分：

• self.linear1负责将输入的d_model维度特征上采样到dim_feedforward维度，输出会接激活函数和前面提到的self.dropout层。
• self.linear2负责将激活后的高维特征下采样回d_model维度，输出匹配后续残差连接的维度要求。

两个线性层的权重、偏置都是独立训练的，只是为了区分作用位置才做了数字后缀的命名。 #

内容的提问来源于stack exchange，提问作者user1173330