Python中能否对短CPU密集型任务实现高效多线程并行？

纯CPython环境下不借助外部工具时，测试得到的就是GIL带来的短任务并行性能上限：多进程的启动与进程间通信开销超过了短任务本身的计算收益，多线程受GIL限制无法实现CPU任务并行，因此常规的多进程/多线程方案性能低于线性执行是正常现象，可通过以下方向突破限制：

1. 复用进程池避免重复开销 #

如果是多轮迭代的流水线任务（每轮都有一组短任务要跑），不要每次执行任务时都新建、销毁进程池，全局只初始化一次进程池复用，可降低80%以上的多进程额外开销：

from multiprocessing import Pool
# 全局初始化一次，不要放在业务函数内重复创建
pool = Pool(processes=3)

def mpc_thread_sum_reuse(i, Nprocess=3):
    values = get_ranges(i)
    # 直接复用全局池，无需每次关闭、回收
    results = pool.map(linear_sum, values)
    return sum(results)

2. 向量化运算绕开GIL #

如果是数值类计算任务，直接使用numpy的向量化操作，底层会调用C实现的并行逻辑，完全绕开GIL，单进程即可跑满多核性能，速度比纯Python线性执行高几倍到几十倍不等：

import numpy as np

def numpy_sum(n):
    return np.arange(n+1).sum()

如果实际业务逻辑可做向量化改造，这是性价比最高的优化方案，无需额外调整并行逻辑。

3. JIT编译突破GIL限制 #

使用Numba编译器装饰任务函数，可将Python代码即时编译为机器码，同时支持原生多线程并行，完全不受GIL约束：

from numba import jit, prange

@jit(nopython=True, parallel=True)
def numba_sum(n):
    res = 0
    for i in prange(n+1):
        res += i
    return res

该方案对可静态编译的CPU密集任务收益极高，完全没有进程通信的额外开销。也可以替换CPython为PyPy运行时，通过JIT编译大幅提升短任务的执行效率。

4. 任务批处理降低开销占比 #

如果上述方案都不匹配业务逻辑，可以将多组短任务合并为一个大任务后再提交给多进程执行，只要单任务的计算量远大于进程通信开销，多进程的并行收益就能体现出来。例如每轮有30个短任务时，不要逐个提交，可合并为3个批次、每个批次包含10个任务后再提交，开销占比会直接降低为原来的1/10。

如果单任务本身计算耗时在微秒级，确实没有纯CPython的原生并行方案能超过线性执行，这种场景可以选择将核心逻辑用C/Rust编写为扩展模块调用，可获得量级级的性能提升。

内容的提问来源于stack exchange，提问作者ramzeek