关于Transformer中Position-wise Feed Forward神经网络实现的疑问

首先明确：你对“Position-wise”的理解有误，它不是指每个位置用独立的FFN（权重偏置都不同），而是指对序列中每个位置的向量，独立应用同一组FFN参数。

代码对应的实际逻辑 #

你贴的这段代码完全符合Transformer原论文的设计。输入x的形状通常是(batch_size, seq_len, d_model)（比如机器翻译任务里，seq_len是句子的单词数，d_model是每个单词的嵌入维度）。PyTorch的nn.Linear层在处理这种三维张量时，默认会对最后一维（d_model）做线性变换——也就是说，序列中每个位置的d_model维向量，都会用同一个w_1和w_2进行计算，计算过程是逐位置独立的（不同位置的向量之间没有交互，不像自注意力层那样会跨位置计算关联）。

举个机器翻译的例子：假设输入句子是“Hello world”，每个单词的嵌入是512维（d_model=512），经过自注意力后得到每个单词的512维向量。Position-wise FFN会把“Hello”的512维向量单独过w_1（转成2048维，d_ff=2048）、ReLU、Dropout，再通过w_2转回512维；“world”的向量也完全重复这个流程，用的是同一组w_1和w_2。

为啥图示会造成误解 #

很多Transformer的示意图为了直观展示“每个位置都要经过FFN处理”，会画多个FFN的图标，但这些图标代表的是同一组参数的重复应用，而非不同的模型。如果真的给每个位置做独立FFN，参数量会随序列长度线性增长（比如seq_len=1000的话，参数量是原来的1000倍），这在长序列任务中完全不现实，而共享参数的设计能大幅降低模型复杂度，同时保证每个位置的向量都得到足够的非线性变换。

总结 #

Position-wise Feed Forward的核心是：

• 逐位置独立处理：每个位置的向量单独过FFN，不与其他位置的向量交互
• 共享参数：所有位置用同一组FFN权重，避免参数量爆炸

内容的提问来源于stack exchange，提问作者Aayush Neupane