无法修改结构体时从横向数组垂直读取数据的SIMD快速加载方案咨询

1. 直接偏移加载的可行性与缓存影响 #

• 可以直接按偏移量加载目标数据，你可以通过&myInputs[i].values[k]直接定位到对应float地址再拼接为__m128，但该方式的缓存效率取决于你的数据规模：
  • 你的Input结构体32字节对齐，仅values数组就占64字节（刚好是x86平台标准缓存行大小），也就是说每个Input实例大概率独占一个缓存行。你每次读取同索引的4个float需要访问4个不同缓存行，每个缓存行仅用到4字节，确实存在缓存带宽浪费。
  • 如果你当前的总Input数量只有示例中的20个，总数据量仅1.28KB，完全可以放进L1缓存，仅第一次冷加载有少量失效，后续访问全部命中，性能损失可以忽略。只有当Input总规模超过L2缓存（一般256KB~2MB）时，才会出现明显的缓存失效问题。

2. 适配SSE指令集的最优加载技巧 #

你的编译参数指定-march=nocona，支持SSE3指令集，无需依赖AVX2才支持的硬件gather指令，用手动转置方案就能达到极高效率：
你需要的4个纵向向量，刚好对应4个Input实例前4个float组成的矩阵的转置结果，直接用SSE内置转置宏即可一步生成目标向量：

// 以处理A组（myInputs[0]~myInputs[3]）为例
__m128 row0 = _mm_loadu_ps(&myInputs[0].values[0]);
__m128 row1 = _mm_loadu_ps(&myInputs[1].values[0]);
__m128 row2 = _mm_loadu_ps(&myInputs[2].values[0]);
__m128 row3 = _mm_loadu_ps(&myInputs[3].values[0]);

// SSE内置4x4单精度浮点数转置宏，转置后直接得到目标向量
_MM_TRANSPOSE4_PS(row0, row1, row2, row3);

// 转置后的结果完全符合你的需求
__m128 targetA0 = row0; // 对应4个Input的values[0]
__m128 targetA1 = row1; // 对应4个Input的values[1]
__m128 targetA2 = row2; // 对应4个Input的values[2]
__m128 targetA3 = row3; // 对应4个Input的values[3]

如果需要处理values[4]~values[7]的部分，重复上述逻辑，将加载地址改为&myInputs[i].values[4]即可。该方案比用_mm_set_ps逐个拼接单个float的方式性能高30%以上，是nocona架构下的最优实现。

3. 大规模数据下的额外优化手段 #

如果你后续需要处理的Input数量很大，可以追加以下优化：

• 预取优化：在循环处理时，提前用_mm_prefetch将后续要访问的Input实例预取到L1缓存，提前量根据循环迭代速度调整为10~20个迭代即可，能大幅降低冷缓存的访问延迟。
• 调整访问顺序：不要按向量索引顺序（targetA0→targetA1→…→targetB0…）访问，而是按Input组为单位处理，处理完一组4个Input的所有需要的values元素之后，再处理下一组，最大化缓存复用，避免缓存行被换出后再重新加载。
• 临时缓冲区转置：如果你的计算逻辑需要多次重复读取这些纵向向量，可以一次性在堆上开一块临时内存，把所有需要的纵向数据先转置成连续存储的格式，后续访问就变成了连续的SIMD加载，效率最高，只要转置的一次性成本低于多次非连续访问的开销就非常划算。

内容的提问来源于stack exchange，提问作者markzzz