Transformer模型中dff参数的定义及相关配置疑问

你给出的模型配置如下：

d_model:  embedding size
h: attention head count
d_k: key matrix dimension
d_v: value matrix dimension
dff: 2048?

dff的具体含义 #

dff是dimensionality of feed-forward的缩写，指Transformer类基础模型中，编码器、解码器内部紧随多头注意力模块之后的前馈神经网络的隐藏层维度。

• 你看到的2048是《Attention Is All You Need》原始论文的标准配置，和论文中d_model=512的设定匹配，对应前馈网络的计算逻辑是：先将输入的512维特征映射到2048维，经过ReLU激活后再映射回512维输出。
• 实际使用时dff没有固定取值，通常会设置为d_model的2~4倍，数值越大前馈模块的非线性拟合能力越强，对应的参数量和计算开销也会同步提升。

内容的提问来源于stack exchange，提问作者marlon