Transformer注意力机制矩阵运算维度不匹配问题求教

问题出在两个机器学习论文普遍存在的符号约定省略，不是公式本身逻辑错误：

• 国内线性代数教材默认向量为列向量（维度(n, 1)），但绝大多数AI顶会论文默认特征向量为行向量（维度(1, n)），写矩阵乘法时不会特意标注转置，默认按维度对齐补全转置操作。
• 论文对投影操作的描述省略了前置池化步骤，同时你把权重矩阵的行列方向搞反了。

逐点对应你的疑问 #

1. 步骤(8)中u的实际维度 #

你按列向量约定推导u为(d_model, 1)，不符合这篇论文的符号约定。
论文提到的“将矩阵M非线性投影为u”，工程实现时首先会对输入矩阵M（维度为(seq_len, d_model)，即序列长度×模型特征维度）做全局平均池化，压缩序列维度得到(1, d_model)的全局特征，再经过tanh非线性激活得到u，最终u是维度为(1, d_model)的行向量，不是列向量。

2. 步骤(9)的矩阵乘法合法性 #

你误以为参与运算的两个矩阵维度是(d_model, K)和(1, d_model)，本质是把可训练权重矩阵的行列方向搞反了：

• 步骤(9)中的可训练投影矩阵实际维度为(d_model, K)，K为多头注意力的头数
• 矩阵乘法顺序为u @ W，对应维度运算为(1, d_model) @ (d_model, K) = (1, K)，输出正好对应K个注意力头的权重，完全满足矩阵乘法维度匹配要求。

补充说明 #

这篇论文作者以金融领域研究者为主，写公式时没有特意说明符号约定，也省略了池化这类工程实现中的默认操作，是应用类论文的常见写法，对照开源实现核对维度就能确认不存在逻辑矛盾。

内容的提问来源于stack exchange，提问作者Clément Perroud