Python多线程文件IO为何效率低于串行？GIL是否仍起作用？

• 线程切换开销抵消并行收益：GIL确实会在IO阻塞时释放，但多线程本身存在上下文切换的开销。如果测试任务是读取小文件或IO阻塞时间很短，线程切换的耗时（保存/恢复线程状态、调度开销）会超过并行IO带来的时间节省，最终总耗时反而比串行高。

• 文件系统的并发瓶颈：

  • 机械硬盘的磁头同一时间只能处理一个读取请求，多线程并发读取会导致磁头频繁寻道，反而增加整体耗时；
  • 即使是SSD，其并行IO的并发数也有上限，当线程数超过这个上限时，会引发IO请求竞争，拖慢整体速度。

• 测试场景的特殊性：如果测试是针对同一个文件的读取，多线程读取并不会带来额外的缓存优势——操作系统已经会对文件内容做缓存，多线程重复读取反而会因为调度逻辑增加不必要的开销。

• 多进程的优势本质：多进程是真正的多核并行，每个进程拥有独立的GIL，不会相互干扰。同时操作系统对多进程的IO调度更灵活，尤其是当测试任务是多个文件并行读取时，能充分利用存储设备的并行处理能力，所以耗时明显更低。

关于GIL的疑问：GIL在文件IO场景下确实会释放，但线程切换的额外开销、文件系统的并发限制，才是导致多线程效率不如串行的核心原因，并非GIL在IO场景仍生效。

内容的提问来源于stack exchange，提问作者coding-cat