AVX512向量点积编程：两种循环展开策略的性能对比与优化

我正在使用Xbyak库，通过AVX512指令实现两个向量的点积计算，目前采用两种循环展开策略：

策略一：批量加载后累加 #

// variable A and B are the registers store base address of vector A and B
// zmm0,1,2,3 load 16*4 float32 from A
// zmm4,5,6,7 load 16*4 float32 from B
// zmm8 stores the temp accumulation
vmovups(zmm0, ptr[A]);
vmovups(zmm1, ptr[A+64]);
vmovups(zmm2, ptr[A+64*2]);
vmovups(zmm3, ptr[A+64*3]);

vmovups(zmm4, ptr[B]);
vmovups(zmm5, ptr[B+64]);
vmovups(zmm6, ptr[B+64*2]);
vmovups(zmm7, ptr[B+64*3]);

vfmadd231ps(zmm8, zmm0, zmm4);
vfmadd231ps(zmm8, zmm1, zmm5);
vfmadd231ps(zmm8, zmm2, zmm6);
vfmadd231ps(zmm8, zmm3, zmm7);

策略二：加载一组立即累加 #

vmovups(zmm0, ptr[A]);
vmovups(zmm4, ptr[B]);
vfmadd231ps(zmm8, zmm0, zmm4);

vmovups(zmm1, ptr[A+64]);
vmovups(zmm5, ptr[B+64]);
vfmadd231ps(zmm8, zmm1, zmm5);

vmovups(zmm2, ptr[A+64*2]);
vmovups(zmm6, ptr[B+64*2]);
vfmadd231ps(zmm8, zmm2, zmm6);

vmovups(zmm3, ptr[A+64*3]);
vmovups(zmm7, ptr[B+64*3]);
vfmadd231ps(zmm8, zmm3, zmm7);

针对以上两种策略及后续优化疑问，解答如下：

两种策略的性能差异与乱序执行的作用 #

两种策略存在明确的性能差异，CPU乱序执行能缓解但无法完全消除差距：

• 策略一的问题：批量加载会集中消耗内存带宽，若内存延迟高或缓存未命中，后续FMA指令会进入等待状态。尽管乱序执行会尝试重新调度指令，但大量集中的加载指令会占用所有加载缓冲区，导致后续指令无法提前调度，最终产生流水线停顿。同时，批量加载需要占用更多寄存器存储临时数据，对寄存器资源的压力更大。
• 策略二的优势：加载与计算交替执行的指令顺序，天然适配CPU流水线的并行特性。乱序执行单元可以在执行当前组FMA的同时，调度下一组的加载指令并行运行，充分隐藏内存延迟，在内存受限场景下性能明显优于策略一。

推荐策略与最优实现方式 #

优先选择策略二作为基础实现，它的指令流更符合CPU的执行逻辑，能最大化利用乱序执行隐藏延迟。

若要达到最优性能，需结合多累加器分块累加的业界标准方案，具体实现步骤：

1. 初始化4个独立的累加寄存器（如zmm8、zmm9、zmm10、zmm11），避免单一累加器的数据依赖瓶颈；
2. 每组加载A、B数据后，将FMA结果累加到对应的独立寄存器（例如第一组累加到zmm8，第二组到zmm9，以此类推）；
3. 循环结束后，先用vaddps将4个累加寄存器两两合并，再通过vreduceps（或手动展开的水平加法指令）将向量结果收缩为标量点积。

额外优化细节：

• 若向量A、B的内存地址是64字节对齐的，将vmovups替换为vmovaps，对齐加载的性能会更高；
• 循环展开次数可根据CPU寄存器数量调整，4次展开是AVX512平台的最优选择之一，平衡了并行度与寄存器占用。

多累加器方案的性能提升 #

使用多个独立累加寄存器确实能大幅提升运行速度，这是密集数值计算领域的通用优化手段。它通过打破FMA指令的数据依赖，让CPU的计算单元饱和运行——AVX512 CPU通常每周期能执行2条FMA指令，单一累加器会因等待前一条结果而浪费计算资源，多累加器则能让多条FMA并行执行，充分释放CPU的计算吞吐量。基准测试通常能测出20%~40%的性能提升，具体幅度取决于CPU型号和内存带宽。

内容的提问来源于stack exchange，提问作者haipeng