Python ThreadPool线程池执行慢于串行的问题咨询

嘿，我完全懂你现在的困惑——刚上手Python线程池的时候碰到这种反直觉的情况太正常了！咱们来一步步拆解问题到底出在哪。

你的测试函数foo是纯CPU密集型任务：整个函数就是在做循环累加，全程占用CPU计算，没有任何等待IO（比如网络请求、文件读写）的操作。而Python的multiprocessing.dummy.ThreadPool本质是线程池，绕不开Python的全局解释器锁（GIL）——这玩意儿会限制同一时间只有一个线程能执行Python字节码。

也就是说，你的4个线程其实是伪并行：它们会不断争抢GIL，来回切换上下文，而不是真的同时在4个CPU核心上跑。这种切换本身就会带来额外的开销，再加上线程池的创建、任务调度成本，最终总耗时自然比串行执行还长。

线程池的优势体现在IO密集型任务上。比如当你的函数需要等待网络响应、读写文件时，线程会主动释放GIL，让其他线程可以趁机执行。这时候多线程就能把等待时间利用起来，整体提升效率。

举个例子，把你的函数改成带IO等待的版本，就能看到线程池的优势了：

from multiprocessing.dummy import Pool as ThreadPool
import time

def foo(n):
    time.sleep(1)  # 模拟IO等待，比如请求接口、读文件
    for i in range(700000):
        n += 1
    return n

inputs = [1,2,3,4]

# 线程池版本
start = time.time()
pool = ThreadPool(4)
results = pool.map(foo, inputs)
pool.close()
pool.join()
print(f"线程池耗时: {time.time() - start}")
print(results)

# 串行版本
start = time.time()
results = [foo(n) for n in inputs]
print(f"串行耗时: {time.time() - start}")
print(results)

这个版本里，线程池的耗时会接近1秒（因为4个线程同时sleep），而串行会用4秒左右，差距一下子就出来了。

如果你的场景确实是CPU密集型计算，应该用真正的多进程（multiprocessing.Pool），而不是线程池。多进程会绕过GIL，每个进程拥有独立的Python解释器和内存空间，能真正利用多个CPU核心并行计算。

修改你的测试代码试试：

from multiprocessing import Pool  # 注意这里是multiprocessing.Pool，不是dummy的
import timeit

def foo(n):
    for i in range(700000):
        n += 1
    return n

inputs = [1,2,3,4]

start = timeit.default_timer()
pool = Pool(4)
results = pool.map(foo, inputs)
pool.close()
pool.join()
print(f"多进程耗时: {timeit.default_timer() - start}")
print(results)

# 串行版本对比
start = timeit.default_timer()
results = [foo(n) for n in inputs]
print(f"串行耗时: {timeit.default_timer() - start}")
print(results)

这时候多进程的耗时应该会比串行短很多，因为4个进程可以同时在不同核心上跑计算。

• CPU密集型任务：用multiprocessing.Pool（多进程），绕过GIL实现真并行
• IO密集型任务：用multiprocessing.dummy.ThreadPool或者concurrent.futures.ThreadPoolExecutor，利用等待时间提升效率
• 小体量CPU任务：串行反而更快，因为进程/线程的创建调度开销可能超过并行收益

内容的提问来源于stack exchange，提问作者bcsta