Python多线程处理IO文件读取任务无性能提升问题排查

问题描述 #

我有一批日志文件需要读取，单线程读取所有文件耗时较长。尝试用Python的threading库实现多线程读取，但没拿到性能提升。

代码示例 #

import threading

def readFromLog(log_file):
    # 处理日志文件的逻辑

def singleThreadReader(logFiles):
    for i in range(len(logFiles)):
        readFromLog(logFiles[i])

def multiThreadReader(logFiles):
    threads = [threading.Thread(target=readFromLog, args=(log_file,)) for log_file in logFiles]
    for thread in threads:
        thread.start()
    for thread in threads:
        thread.join()  

测试情况 #

• 26个文件，单个文件读取耗时约0.3秒，单线程总耗时约7.8秒（26*0.3）。
• 调用multiThreadReader时，耗时和单线程差不多；如果移除thread.join，耗时减半，但我需要等待所有线程完成后再继续后续操作，不能这么做。

我期望多线程能同时读取26个文件，总耗时接近0.3秒，请问问题出在哪？

核心原因分析 #

1. 磁盘I/O瓶颈是最可能的元凶 #

如果所有日志文件都存在同一机械硬盘上，硬盘物理特性决定了它同一时间只能处理一个读写请求——多线程并发读取会让磁头在不同文件位置频繁切换，反而增加额外耗时，总表现和单线程差不了多少。
就算是SSD，单块SSD的并行读写能力也有上限，26个文件同时读取可能已经触及了它的IOPS（每秒输入输出操作数）天花板，没法再提速。

2. GIL限制（如果函数包含CPU密集型逻辑） #

Python的threading受GIL（全局解释器锁）约束：如果你的readFromLog不只是单纯读文件，还包含大量数据解析、计算等CPU密集型操作，GIL会一直被持有，多线程只能交替执行，没法真正并行，总耗时自然和单线程接近。

3. 线程创建开销（影响极小） #

创建26个线程本身有一点开销，但这个数值远小于7.8秒，所以不是主要问题，除非文件数量极大才会显现。

解决方案 #

方案1：改用多进程（multiprocessing） #

多进程不受GIL约束，每个进程有独立的解释器和内存空间，不管是I/O还是CPU密集型任务都能真正并行。改完的代码示例：

import multiprocessing

def readFromLog(log_file):
    # 处理日志文件的逻辑

def multiProcessReader(logFiles):
    processes = [multiprocessing.Process(target=readFromLog, args=(log_file,)) for log_file in logFiles]
    for p in processes:
        p.start()
    for p in processes:
        p.join()

如果文件数量太多，建议用进程池限制进程数，避免内存开销过大：

from multiprocessing import Pool

def multiProcessPoolReader(logFiles, max_workers=8):
    with Pool(max_workers=max_workers) as pool:
        pool.map(readFromLog, logFiles)

方案2：用线程池控制并发数 #

如果是磁盘IO瓶颈，过多并发只会添乱。用线程池控制合理的并发数（机械盘建议4-8个，SSD可以16-32个），优化磁盘利用率：

from concurrent.futures import ThreadPoolExecutor

def multiThreadPoolReader(logFiles, max_workers=8):
    with ThreadPoolExecutor(max_workers=max_workers) as executor:
        executor.map(readFromLog, logFiles)

这种方式不用手动管理线程，还能避免过度并发带来的IO冲突。

方案3：升级存储硬件 #

如果条件允许，把日志文件分散到多个物理磁盘，或者换成NVMe SSD这类高并行性的存储设备，从硬件层面解决IO瓶颈。

内容的提问来源于stack exchange，提问作者ciyer