为什么Python脚本使用threading多线程运行任务没有实现耗时减半?
Python多线程计算密集任务无提速原因说明
核心原因:CPython全局解释器锁(GIL)限制
该现象是CPython环境下的典型表现,本质是GIL的机制导致纯CPU密集型任务无法通过threading模块实现多线程并行:
- GIL是CPython解释器内置的全局互斥锁,设计初衷是为了简化内存管理、保证线程安全。同一时间整个Python进程内仅允许1个线程执行Python字节码,哪怕设备有多核CPU,多线程也无法同时利用多核资源执行计算任务。
- 上述测试中的
task属于纯CPU计算密集型任务,运行过程中几乎没有IO等待(比如网络请求、文件读写、休眠这类阻塞操作),全程都需要持有GIL才能执行。两个线程会交替抢GIL运行,不仅无法并行,还会额外产生线程调度、上下文切换的开销,所以最终耗时和串行执行接近,甚至可能略高于串行耗时。
多线程的适用场景
threading模块的多线程仅对IO密集型任务有明显提速效果:当线程处于IO阻塞等待状态时,会主动释放GIL,其他线程就可以拿到GIL执行自己的逻辑,从而提升整体运行效率。
CPU密集任务的提速方案
如果要给这类纯计算任务提速,可以用以下两种方案:
- 改用
multiprocessing模块实现多进程并行:每个进程会独立持有一套CPython解释器、独立的GIL,不同进程可以跑在不同CPU核心上,双进程跑这两个任务的话耗时基本会是串行的一半左右。 - 使用无GIL的运行环境或编译型扩展:比如改用PyPy解释器运行代码,或者用Cython、Numba把计算逻辑编译为原生机器码,执行计算时可以主动释放GIL,也能实现多线程并行提速。
附测试代码
串行执行代码
def task(numbers): print(f"Starting") for number in numbers: number**number task(range(10000)) task(range(10000))
多线程执行代码
import threading from time import time def task(numbers): for number in numbers: number**number start = time() t1 = threading.Thread(target=task, args=(range(10000),)) t2 = threading.Thread(target=task, args=(range(10000),)) t1.start() t2.start() t1.join() t2.join() end = time() print(end - start)
内容的提问来源于stack exchange,提问作者Carlos Valdivia
相关产品推荐
相关产品推荐

