CPU在向量逐元素乘法函数中如何加载缓存？是否需两次加载？

先看你给出的向量乘法代码：

void vector_multiply(float* result, const float* a, const float* b, int n) {
    for (int i = 0; i < n; i++) {
        result[i] = a[i] * b[i];
    }
}

CPU缓存的加载逻辑 #

CPU加载内存数据时，不是按单个元素读取，而是以缓存行（通常为64字节）为单位批量加载：

• 当第一次访问a[i]时，CPU会把包含a[i]的整个64字节缓存行加载到L1缓存中（如果该缓存行此前不在缓存里）。一个64字节缓存行可容纳16个float元素（每个float占4字节）。
• 同理，第一次访问b[i]时，会加载包含b[i]的缓存行到缓存中。

是否需要两次内存加载？ #

分场景讨论：

• 首次访问新缓存行时：如果a[i]和b[i]所在的缓存行都不在各级缓存中，确实需要两次从内存（或更低层级缓存）加载缓存行的操作，但这是加载整个缓存行，而非单个元素。
• 后续同缓存行内的元素访问：循环是顺序访问a和b的元素，同一缓存行内的后续元素（比如a[i+1]到a[i+15]）都已在缓存中，无需再从内存加载，直接从缓存读取即可。

即便a和b内存位置相距很远，缓存行完全不重叠，也只会影响首次加载的缓存行数量，由于顺序访问的空间局部性，大部分循环迭代都是从缓存取数据，不会频繁触发内存加载。

交错存储无性能差异的原因 #

你测试将a、b交错存储（如a[0], b[0], a[1], b[1]...）却没发现性能差异，主要有几个可能：

• 原有代码空间局部性已足够好：顺序访问a和b本身就有很强的空间局部性，缓存命中率已经很高，交错存储带来的缓存行利用率提升（一个缓存行同时装a和b的元素）不足以在测试中体现出明显差异。
• CPU硬件预取的作用：现代CPU都配有硬件预取器，能自动预测顺序访问的内存地址，提前把后续的a和b的缓存行加载到缓存中。即便a和b分开存储，预取器也会提前备好数据，抵消了交错存储的优势。
• 数据集或缓存容量的影响：如果测试用的n很小，数据能完全装入L1缓存，不管存储方式如何都不会有内存瓶颈；如果n极大，内存带宽成为主要瓶颈，交错存储也无法突破带宽限制，性能差异自然不明显。

内容的提问来源于stack exchange，提问作者scasci