Intel SkyLake下非连续内存向量化累加最优实现问询

核心结论 #

你当前实现的垂直向量化累加思路，在N≈10、单组向量有效计算长度为3、待加载u向量内存不连续的场景下，性能显著优于沿另一维度并行+水平求和的方案，但现有代码存在越界读、依赖链过长等问题，调整后才能达到最优性能。

两种方案性能对比（基于Skylake微架构参数） #

Skylake微架构的核心浮点运算参数：每周期可发射2条256位FMA指令，FMA延迟为4周期；水平加法指令haddpd延迟6周期，吞吐仅为每2周期1条，额外通道提取、拼接开销极高。

• 水平求和方案：该方案将单个u值与对应系数的乘积存入向量通道，最终通过水平归约得到结果。你的场景下单组有效计算长度仅为3，256位向量可容纳4个double，单向量有1/4的通道被浪费；N=10时仅乘加操作就需要10条指令，后续3组结果的水平归约还要额外消耗至少6条haddpd+3条通道提取指令，且归约步骤依赖链极长，根本无法喂满Skylake的双FMA发射端口，实际吞吐不足理论值的20%。
• 你当前采用的垂直向量化方案：该方案将向量通道固定对应单个结果位（通道0/1/2分别对应resultA/resultB/resultC，通道3闲置），每加载一个u向量就直接和对应系数做垂直乘加，全程不需要水平归约操作，没有额外指令开销，且运算依赖链短，很容易打满FMA吞吐，性能是水平求和方案的3-4倍。

现有代码优化点（针对实际生产场景调整） #

你给出的示例代码和12层嵌套FMA写法都存在可优化空间，调整后性能还能提升2-3倍：

• 修正越界加载问题：u数组每个元素仅包含3个连续double，不同ix对应的u地址不连续，不能直接用_mm256_load_pd加载4个double，否则会越界访问非法内存。实际加载时可以用_mm256_set_pd(0.0, u[ix][2], u[ix][1], u[ix][0])构造向量，或者用128位加载凑齐3个有效值后零扩展到256位，避免越界。
• 拆分长依赖链：你给出的12层嵌套FMA写法会把所有乘加操作串成一条11级的依赖链，受FMA 4周期延迟限制，每4周期才能执行1条FMA，仅能用到1/8的理论FMA吞吐。实际写的时候要把累加拆成2-3个独立的累加器，比如N=10时前4项累加到acc0、中间3项到acc1、最后3项到acc2，全部算完后再把3个累加器求和，把依赖链长度从11压缩到4，乱序执行引擎可以同时调度多条FMA，直接把吞吐提满。
• 消除冗余乘法指令：现有代码在FMA中嵌套单独的_mm256_mul_pd是浪费，Skylake上FMA和乘法指令的延迟、吞吐完全一致，直接把初始累加器设为全0向量，所有项都用_mm256_fmadd_pd累加即可，减少不必要的指令开销。
• 避免结果越界写：因为向量最高位通道是闲置的，最后存储结果时只提取低3个double写入内存即可，不要直接存储整个256位向量。

注意：如果你的u值之间偏移是固定的，还可以用VGATHER指令批量加载，但N=10的场景下GATHER指令的overhead比单独加载构造向量更高，不建议使用。

内容的提问来源于stack exchange，提问作者Gaston