Golang多文件并发写入时耗时递增的原因及优化方案咨询

咱们先把你遇到的问题拆解清楚，一步步来看：

一、初始代码耗时递增的核心原因 #

你在WriteToFile里加了全局互斥锁mu，这直接把所有goroutine的文件写入操作变成了完全串行执行——哪怕每个goroutine写的是毫不相关的文件，同一时间也只能有一个goroutine在执行写操作，剩下的全部在排队等锁释放。

举个直观的例子：第一个goroutine写文件用了12ms，第二个goroutine必须等第一个写完才能开始，所以它的耗时是第一个的12ms加上自己的写时间；第三个要等前两个都写完，耗时自然更长……如此累积，越往后的goroutine等待的总时间越多，耗时就呈现递增趋势。

你提到哪怕预生成数据、用极小字节切片现象依旧，本质就是锁的串行化逻辑没改变——所有写操作还是在排队，和数据大小无关。

二、Worker Pool版本耗时趋于稳定的原因 #

你把Worker数量设为2，相当于把并行度控制在了2：同一时间最多有2个goroutine在执行写操作，不再是完全串行。这时候goroutine是分批次处理的：第一批2个同时执行，耗时约12ms；第二批2个等第一批完成后启动，耗时也接近12ms；以此类推，所以后面的goroutine耗时不会像之前那样线性递增，整体总耗时也更符合预期。

三、提升Go并行文件写入效率的实用方案 #

针对你的场景，这里有几个关键优化方向：

1. 移除不必要的全局互斥锁 #

你当前是每个goroutine写不同的文件，完全不需要全局锁！操作系统会负责磁盘的并发IO调度，去掉mu.Lock()/mu.Unlock()后，goroutine可以真正并行执行写操作，这会大幅提升整体效率。

2. 合理控制并发度（Worker Pool的核心价值） #

磁盘的并行能力是有物理上限的：

• 机械硬盘依赖磁头寻道，并行度太高会导致磁头频繁切换，反而降低效率，一般4-8个Worker就足够；
• SSD虽然没有寻道问题，但也有IOPS（每秒IO次数）上限，过度并发会触发磁盘的限流机制。
  你需要根据自己的存储介质调整Worker数量，找到最优并行度。

3. 优化写入逻辑细节 #

• 提前生成数据：像你尝试的那样，把数据生成逻辑放在写入操作前，避免写过程中等待CPU生成数据；
• 匹配页缓存大小：尽量让写入的数据大小匹配操作系统页缓存的大小（比如Linux下通常是4KB或更大），减少实际磁盘刷写的次数；
• 使用更灵活的IO接口：ioutil.WriteFile是封装了os.Create+Write+Close的简化接口，如果需要批量写文件，可以用os.OpenFile配合Write来减少重复的系统调用开销。

4. 利用磁盘顺序写特性（如果业务允许） #

如果你的场景可以调整写入顺序，尽量让文件写入是连续的（比如按目录顺序写），机械硬盘的顺序写效率远高于随机写，SSD也能获得一定性能提升。

快速验证建议 #

你可以试试把初始代码里的全局锁去掉再运行——会发现所有goroutine的耗时都会接近第一个的12ms左右，总耗时也会大幅降低，因为此时写操作真正并行起来了。

内容的提问来源于stack exchange，提问作者Pat-rice