多线程分块写入大文件：跨核心为何比同核心更慢？

结果是否正常？ #

这个现象是正常的，核心原因如下：

• CPU缓存一致性开销：跨核心写入时，即使用户态锁占比极低，文件系统内核态的同步逻辑仍会触发缓存行的频繁同步（比如MESI协议下的失效/刷新操作），线程数越多，这种跨核心的缓存同步开销被放大得越明显，直接体现在filebuf::sputn的调用耗时上升。
• Windows电源计划的调度影响：节能或平衡模式下，CPU核心的频率调度、唤醒延迟会额外增加跨核心同步的成本；即便切换到高性能模式，缓存一致性的本质问题依然存在。
• RAM盘的内核同步限制：RAM盘并未脱离内核调度，其底层内存管理结构仍需内核级同步，跨核心写入时同样会触发缓存一致性开销，因此该现象不会消失。

除“线程入队+单写线程”外的优化策略 #

• 批量合并写入请求：让每个线程先在本地缓冲区积累足够大的数据块（比如64KB/256KB，匹配文件系统簇大小），再一次性提交写入，减少内核态调用和同步的频率。
• 绑定线程到NUMA节点：如果是多NUMA架构服务器，将写入线程与文件所在存储对应的NUMA节点绑定，避免跨NUMA节点的内存访问开销，降低缓存同步压力。
• 使用Windows IOCP异步I/O：放弃同步的filebuf::sputn，改用完成端口（IOCP）发起异步写入请求，由内核调度IO线程处理，减少用户态线程的阻塞和核心间切换开销。
• 调整文件系统参数：Windows下可尝试禁用文件系统的“写入缓存缓冲区刷新”（需权衡数据安全性），或在CreateFile时指定FILE_FLAG_NO_BUFFERING+FILE_FLAG_WRITE_THROUGH组合（需严格将写入块大小对齐到磁盘扇区），减少内核态缓存的同步开销。
• 线程分组绑定核心：将写入线程分成若干组，每组绑定到同一核心或共享L3缓存的核心组，组内线程共享本地缓冲区后批量写入，降低跨缓存域的同步开销。

内容的提问来源于stack exchange，提问作者bers