优化C++矩阵乘法微内核的L1缓存使用问题咨询

问题梳理 #

场景与约束 #

目标是优化列主序存储的矩阵乘法C=A*B（A:MxK, B:KxN, C:MxN），运行在AMD EPYC 7742单核心（支持AVX2+FMA），约束如下：

• K=128，M、N为编译期常量且小于32
• 禁止使用分块（Blocking）优化
• 数据默认32字节对齐

尝试的实现与性能异常 #

1. 基础向量化版本：M=N=32时可达约23 GFLOPs，但缩小M、N后性能明显下降。
2. L1缓存适配版本：选择M=4、N=8（三个矩阵总大小约12KiB，远小于32KiB的L1d缓存），消除m循环后性能仅约4 GFLOPs，与未优化的初始代码持平。
3. 后续尝试转置矩阵A无性能提升，最终通过优化基础向量化版本的存储操作与循环展开达到40 GFLOPs，但无法理解L1适配版本的性能瓶颈。

编译参数：-O3 -funroll-loops -std=c++11 -mavx2 -march=native -fma -ftz -fomit-frame-pointer（icc 2021.5.0）

性能瓶颈解析 #

关于L1缓存的猜测：错误 #

三个矩阵总大小仅约12KiB，远小于32KiB的L1d缓存容量，数据必然全部驻留L1，性能瓶颈不在缓存层级。

核心瓶颈：指令级并行（ILP）不足与内存访问模式 #

1. 长依赖链限制并行性：
   版本2中，每个_mm256_fmadd_pd的输出直接作为下一次fmadd的输入，形成了一条长达128次迭代的循环依赖链。AMD EPYC 7742的FMA指令延迟约4-5周期，单核心吞吐率为每周期2条FMA指令，但这条长依赖链导致CPU无法同时执行多条FMA指令，只能等待上一条完成后再执行下一条，计算单元利用率极低。
2. 内存访问效率低下：
   矩阵B的访问是列主序下的单元素加载，每次_mm256_broadcast_sd仅加载单个double元素，即使数据在L1缓存，单元素加载的带宽利用率远低于向量加载，额外增加了开销。
3. 循环展开失效：
   即使编译时加了-funroll-loops，但由于依赖链的存在，编译器无法有效展开k循环来暴露更多并行性，进一步限制了性能。

基础向量化版本性能更高的原因 #

基础向量化版本中，m循环的存在使得每次k迭代内有多个独立的FMA操作（对应不同的m块），形成多条独立的依赖链，CPU能够利用超标量特性同时执行多个FMA指令，提升了指令级并行度，因此性能更高。当M、N缩小时，m循环的迭代次数减少，独立依赖链数量下降，ILP随之降低，性能自然下滑。

优化方向（针对L1适配版本） #

1. 打破依赖链：将k循环拆分为多个并行子循环，每个子循环维护独立的累加寄存器。例如，将128次k迭代拆分为4组，每组32次，用4个独立的__m256d寄存器分别累加，最后合并结果。
2. 优化B的访问模式：提前加载B的整列向量（列主序下每列是连续的128个double），对整列向量进行广播操作，减少单元素加载的开销。
3. 手动循环展开：对k循环进行手动展开，结合独立累加寄存器，最大化指令级并行度。

内容的提问来源于stack exchange，提问作者Marcel Ferrari