基于SIMD指令集实现memcpy性能低于标准库的原因排查

你当前实现的核心问题 #

• 对齐相关的基础错误：你调用aligned_alloc时传的对齐参数是0x1F（十进制31），但aligned_alloc要求对齐参数必须是2的整数次幂，且不小于sizeof(void*)。你要实现32字节对齐，应该传0x20（十进制32）。这个错误会导致分配的地址不满足32字节对齐要求，要么触发未定义行为，要么你的代码直接走未对齐分支调用标准库memcpy，等于自定义逻辑完全没生效。
• 非临时指令滥用：你用的_mm256_stream_load_si256、_mm256_stream_si256属于非临时存取指令，设计目的是复制不会被马上访问的超大块数据时绕过CPU缓存，避免冲掉缓存里的有效数据。你测试的是1MB小数据，本身完全可以放进L2缓存，用普通的_mm256_load_si256/_mm256_store_si256走缓存存取速度远高于绕缓存的stream指令。
• 无循环展开，流水线利用率低：你的循环每次只复制1个256位向量，循环判断、指针自增的开销占比极高，也没有打满CPU的load/store端口带宽。优化的SIMD实现通常会把循环展开4~8次，单次循环复制多个向量，降低控制逻辑开销，充分利用硬件并行性。
• 多余的屏障指令开销：你在stream复制结束后加了_mm_sfence()，这个指令是用来保证非临时存储的内存可见性，开销非常高。标准库的常规memcpy实现用普通存取指令不需要加任何内存屏障，这部分开销差非常明显。
• 测试用例设计不合理：仅测试1MB数据的单次复制，计时误差极大，且memset操作已经把源地址数据载入缓存，测试场景属于缓存内复制，完全不适用非临时指令的优化场景。

标准库memcpy性能更优的核心原因 #

• 多场景适配的高度优化实现：主流标准库的memcpy都是由资深工程师用汇编手写，会根据CPU架构（你的AMD EPYC 7282是Zen2架构，支持AVX2）、复制数据大小自动选择最优实现：小尺寸复制用标量指令，中等尺寸用SSE/AVX指令，超大尺寸才会用非临时指令，完全匹配当前场景的性能最优解。
• 硬件优化指令的利用：现代x86 CPU对rep movsb指令做了极强的硬件优化，大尺寸复制时CPU内部会自动用最大位宽的总线搬运数据，不需要经过SIMD寄存器，也不需要手动处理对齐、循环展开，性能比手写的SIMD循环更高，标准库会优先使用这类硬件优化指令。
• 更完善的对齐兼容逻辑：标准库memcpy就算输入地址未对齐，也会先复制少量字节把地址对齐到缓存行（通常64字节）边界，再用宽指令批量复制，不会像你的实现一样只要未对齐就直接 fallback 到原生memcpy。
• 无冗余操作：标准库实现不会引入多余的内存屏障、冗余变量计数这类额外开销，每一步操作都是最优的。

给SIMD新手的基础建议 #

• 先搞懂内存对齐的规则：不同SIMD指令对地址对齐的要求不同，AVX2 256位指令要求地址对齐到32字节，AVX-512要求对齐到64字节，分配内存时对齐参数必须是2的整数次幂。
• 非临时指令仅适合超过LLC（三级缓存）大小的复制场景，比如复制几十GB的数据，小数据复制用普通的对齐load/store指令即可。
• 写SIMD循环时一定要做循环展开，可以用#pragma unroll N编译器指令让编译器自动展开，也可以手动实现多向量批量复制。
• 生产环境不要自定义memcpy，标准库的实现已经适配了几乎所有场景的最优性能，新手手写实现很难超过它的性能。

内容的提问来源于stack exchange，提问作者yashC