英伟达Tensor Core中4x4x4矩阵运算第三维的来源是什么？

首先明确：官方提到的4x4x4从来不是指参与运算的是三维矩阵，这是矩阵乘累加（MMA）运算的硬件并行粒度标称，对应通用矩阵乘（GEMM）的三个核心维度，具体拆解如下：

• 第一个4：输出结果矩阵、累加源矩阵的行数M=4
• 第二个4：输出结果矩阵、累加源矩阵的列数N=4
• 第三个4：两个输入相乘矩阵的公共收缩维度K=4

你之前观察到的“两个4x4矩阵相乘后和第三个4x4矩阵累加”的现象本身是对的，但忽略了矩阵乘法本身的维度约束：两个二维矩阵可以相乘的前提是左矩阵的列数等于右矩阵的行数，这个公共维度就是上面提到的K。在Tensor Core的基础运算块里，左输入矩阵A是4行4列（M×K=4×4），右输入矩阵B是4行4列（K×N=4×4），刚好满足矩阵乘法的维度要求，算出来的中间乘积是4×4，再和同尺寸的累加矩阵C相加得到最终4×4结果D。

对应到硬件结构上，“4x4x4矩阵处理阵列”意味着单周期内可以并行完成这整个tile尺寸的矩阵乘累加全流程：

• 总共并行执行MNK = 64次FP16乘法运算，所有乘法结果直接以FP32全精度保留
• 每个输出位置对应K=4次乘法的结果先在点积运算内部做FP32累加，得到该位置的乘积项
• 乘积项再和对应位置的C矩阵FP32值累加，输出最终结果

这一逻辑也和CUDA9官方文档的表述完全吻合：

针对4x4x4矩阵乘法，FP16乘法运算会生成全精度结果，在给定点积运算过程中通过FP32操作与其他乘积累加

你之前推测第三个维度来自累加前的中间结果，这个判断和实际逻辑有部分重合：K维度上的4次运算确实是点积内部的中间累加环节，但这个4本质是硬件设计时固定的收缩维度并行粒度，不是中间结果的结构维度。官方文档里的“4x4x4矩阵乘法”表述，就是对这个固定尺寸基础运算块的简称，不是指存在三维矩阵参与运算。

内容的提问来源于stack exchange，提问作者Alfred