如何利用AVX2高效处理8字节数据块（加载、处理、存储）？

问题核心原因 #

你当前实现的吞吐量仅达25 GB/s，远低于预期的100 GB/s，核心问题确实和内存事务利用率不足以及小写入的缓存行为直接相关：

• 单个8字节的加载/写入仅触发64位内存事务，但现代CPU的L1缓存行是64字节，内存总线通常按128/256位事务传输，单个8字节操作只用到总线带宽的1/2甚至1/4。
• 频繁的零散8字节写入会破坏CPU的写合并机制：写合并需要连续对齐的写入操作填满缓存行或事务块才能批量提交，零散小写入会触发大量独立内存事务，大幅拖慢带宽利用率。

优化方案：批量处理，最大化内存事务效率 #

由于处理逻辑简单、整体受内存带宽限制，核心优化方向是一次加载/处理/写入多个8字节块，让内存操作充分填满缓存行和总线事务：

1. 批量加载：一次读取多个8字节块 #

避免每次仅加载1个8字节块，一次性读取8个（共64字节，刚好一个L1缓存行），利用AVX2的256位加载指令，再拆分后零扩展到32位寄存器：

// 一次性加载8个8字节块（共64字节）
__m256i block_low = _mm256_loadu_si256((const __m256i*)source);
__m256i block_high = _mm256_loadu_si256((const __m256i*)(source + 32));

// 将每个8字节块拆分为单字节，零扩展到32位整数
__m256i x0 = _mm256_cvtepu8_epi32(_mm256_extracti128_si256(block_low, 0));
__m256i x1 = _mm256_cvtepu8_epi32(_mm256_extracti128_si256(block_low, 1));
__m256i x2 = _mm256_cvtepu8_epi32(_mm256_extracti128_si256(block_high, 0));
__m256i x3 = _mm256_cvtepu8_epi32(_mm256_extracti128_si256(block_high, 1));
// 继续处理剩余4个块...

2. 并行处理：同时操作多个AVX寄存器 #

利用AVX2的并行性，同时对多个__m256i寄存器执行相同处理逻辑，让CPU的乱序执行单元同时处理计算和内存操作，避免等待：

// 并行处理多组寄存器
x0 = your_process_logic(x0);
x1 = your_process_logic(x1);
x2 = your_process_logic(x2);
x3 = your_process_logic(x3);

3. 批量写入：合并结果后一次性写入 #

处理完成后，将多个8字节块的结果合并为256位寄存器，再一次性写入内存，避免零散小写入的开销：

// 将32位整数压缩回单字节
__m128i packed0 = _mm_packus_epi32(_mm256_castsi256_si128(x0), _mm256_extracti128_si256(x0, 1));
__m128i packed1 = _mm_packus_epi32(_mm256_castsi256_si128(x1), _mm256_extracti128_si256(x1, 1));
// 合并为256位寄存器，对应4个8字节块
__m256i full_packed = _mm256_set_m128i(packed1, packed0);
// 一次性写入32字节
_mm256_storeu_si256((__m256i*)output, full_packed);
// 同理写入剩余4个块的结果

关键细节补充 #

• 内存对齐：用_mm_malloc或编译器对齐属性（如__attribute__((aligned(64)))）让输入/输出缓冲区对齐到64字节，避免跨缓存行的加载/写入。
• 循环展开：手动展开循环4-8次，让CPU同时处理多组内存操作和计算，进一步挖掘并行潜力。
• 写合并验证：确保写入操作连续且对齐，CPU会自动将连续小写入合并为缓存行大小的事务，提升写入效率。

性能验证 #

优化后可通过perf等工具查看指标：

• 内存事务数应降至原有的1/8左右
• L1缓存命中率接近100%，批量操作刚好填满缓存行，减少缓存 miss

内容的提问来源于stack exchange，提问作者zx-81