Python：multiprocessing与concurrent库差异、原理及subprocess归类问询

你的理解梳理 #

• multiprocessing：通过创建独立Python进程绕过GIL，真正利用多核实现并行处理，而非模拟并行。
• concurrent：若使用线程池组件则不绕过GIL，依赖线程调度实现并发，无法利用多核；但该库也包含基于进程的实现，这点需要补充说明。

问题解答 #

1. concurrent库幕后实际工作方式 #

concurrent库核心功能集中在concurrent.futures模块，提供两种执行器，工作机制完全不同：

• ThreadPoolExecutor：在单个进程内创建多个线程，依赖操作系统的线程调度器完成任务切换。由于GIL限制，同一时间只有一个线程能执行Python字节码，CPU密集型任务无法获得多核加速，但适合IO密集型任务（如网络请求、文件读写）——这类任务等待IO时，线程会释放GIL，让其他线程有机会执行。
• ProcessPoolExecutor：底层封装了multiprocessing库，会创建独立的Python子进程，每个进程拥有自己的GIL，因此能绕过GIL限制，真正利用多核CPU实现并行处理，适合CPU密集型任务。

2. subprocess的工作方式更接近哪一个？ #

subprocess的工作方式更接近multiprocessing：

• 两者都是直接创建系统级独立进程，完全绕过Python GIL，能利用多核CPU实现并行。
• 区别在于：multiprocessing是Python层面的进程管理工具，提供了便捷的进程间通信（如队列、管道）、共享内存等机制，专门用于Python代码的并行执行；而subprocess主要用于调用外部系统命令或其他可执行程序，进程间交互更多依赖标准输入/输出、管道或文件，并非为Python代码的并行执行优化。

内容的提问来源于stack exchange，提问作者half of a glazier