Python调用外部计算型子进程时：ThreadPoolExecutor与ProcessPoolExecutor如何选择？

核心结论 #

当Python通过subprocess启动外部计算密集型任务时：

1. 等待外部进程完成的操作属于IO阻塞操作，Python会释放GIL，不占用Python线程的CPU时间。
2. 优先选择ThreadPoolExecutor，仅特定场景需要ProcessPoolExecutor。

为什么是IO操作？ #

Python调用subprocess.run()、subprocess.Popen()并等待结果时，底层依赖操作系统的IO类系统调用（比如等待进程退出的信号）实现。这段时间里，Python线程处于阻塞状态，GIL会被主动释放，不会占用Python解释器的CPU资源——本质和等待网络请求、磁盘读写的IO操作逻辑完全一致。

线程池 vs 进程池的选择 #

优先用ThreadPoolExecutor的原因 #

• 开销更低：线程的创建、销毁和上下文切换成本远小于进程，批量启动大量外部任务时，线程池的内存、CPU资源占用比进程池小得多。
• 无GIL瓶颈：等待外部进程时GIL已释放，多个线程可以同时等待不同的外部任务，完全能利用多核CPU运行这些不受GIL限制的外部程序。

什么时候用ProcessPoolExecutor？ #

只有当你的Python代码在启动外部任务前后存在大量Python原生计算密集型逻辑时，才需要考虑进程池：

• 比如外部程序返回海量数据，你需要用Python做复杂数值计算、数据处理——这部分逻辑受GIL限制，进程池可让计算在多核上并行。
• 或者Python主线程/线程需要同时处理其他CPU密集型工作，而线程池线程被外部任务阻塞时，进程池可将计算任务放到独立进程执行。

示例代码（ThreadPoolExecutor） #

from concurrent.futures import ThreadPoolExecutor
import subprocess

def execute_external_program(task_params):
    # 调用外部编译型程序（C++/NIM）
    proc = subprocess.run(
        task_params,
        capture_output=True,
        text=True,
        check=True
    )
    # 轻量结果处理（若为重度处理，可考虑进程池）
    return proc.stdout.strip()

if __name__ == "__main__":
    # 构造10个外部任务
    task_list = [["./my_compiled_program", str(i)] for i in range(10)]
    
    # 用线程池并行执行
    with ThreadPoolExecutor(max_workers=4) as executor:
        results = list(executor.map(execute_external_program, task_list))
    
    for res in results:
        print(res)

注意事项 #

• max_workers不要远超CPU核心数：外部计算密集型任务本身会占用CPU，过多并发会导致系统CPU过载，反而降低整体效率。
• 若外部任务是IO密集型（比如调用的程序需等待磁盘/网络），线程池依然是最优选择，逻辑和纯Python IO任务一致。

内容的提问来源于stack exchange，提问作者MadmanLee