Python多线程并行执行foo函数耗时未优化问题排查

你遇到的问题核心是**Python的GIL（全局解释器锁）**在限制线程的并行能力。

• multiprocessing.dummy.ThreadPool本质是线程池，不是真正的多进程。Python的线程在执行CPU密集型任务时，GIL会强制同一时间只有一个线程能执行Python字节码——哪怕你开了4个线程，它们也只是在单CPU核心上交替执行，没法真正利用多核资源实现并行计算。
• 你的foo函数是计算最大值的CPU密集型任务，线程池的多线程在这里完全发挥不了并行优势，运行时间自然和单线程执行几乎一致。

解决方案：用真正的多进程替代线程池 #

换成multiprocessing.Pool（真正的进程池），每个进程拥有独立的Python解释器和GIL，能真正利用多核CPU并行执行任务：

from multiprocessing import Pool
# 假设compute_combo是待处理的组合列表，foo是你的计算函数
if __name__ == "__main__":
    with Pool(processes=4) as pool:
        results = pool.map(foo, compute_combo)
    max_result = max(results)

注意：使用多进程时必须把主逻辑放在if __name__ == "__main__":代码块里，避免子进程重复执行主代码导致异常。

额外补充 #

• 如果你的任务是IO密集型（比如网络请求、文件读写），线程池是有效的——因为IO等待时线程会释放GIL，其他线程可以趁机执行。但CPU密集型任务必须用多进程才能提速。
• 也可以用concurrent.futures.ProcessPoolExecutor，用法更简洁：

from concurrent.futures import ProcessPoolExecutor

if __name__ == "__main__":
    with ProcessPoolExecutor(max_workers=4) as executor:
        results = list(executor.map(foo, compute_combo))
    max_result = max(results)

内容的提问来源于stack exchange，提问作者vojtam