joblib.parallel与concurrent.futures并行处理Pandas列的两大疑问

问题1：为什么用Joblib时只看到8个Python进程，而非1000个？ #

• Joblib的Parallel并非为每一个任务（每一列）单独创建进程，而是基于进程池机制工作：启动固定数量的进程（由n_jobs指定），复用这些进程来处理所有1000列的任务。这种设计是为了避免频繁创建、销毁进程带来的巨大开销——进程创建本身是高成本操作，1000个进程会直接拖垮系统性能，完全不现实。
• n_jobs=-1的含义是使用系统所有可用的CPU核心，你看到8个进程，大概率是当前环境下实际可用的核心数为8：可能是机器的CPU被系统设置、容器/虚拟机配额限制，或是Joblib的默认后端（如loky）识别到的可用核心数为8（而非你机器标称的12核）。

问题2：为什么Joblib比分批处理的Concurrent.Futures更快？ #

虽然“批处理减少进程切换”是普遍认知，但Joblib在多个维度做了针对性优化，让它的性能优于手动分批的concurrent.futures：

1. 更智能的任务调度：Joblib会自动根据任务复杂度、系统负载动态分配任务到进程池，避免手动分批可能出现的负载不均衡问题（比如12批中某批列数多、处理慢，导致其他核心长时间空闲）。
2. 高效的数据传递机制：Joblib默认的loky后端针对大数据对象（如Pandas数据框）做了优化，通过共享内存减少数据拷贝开销；而手动用concurrent.futures时，若处理不当，每个进程可能需要单独拷贝数据框的部分内容，额外开销很大。
3. 序列化与进程管理优化：Joblib使用cloudpickle做序列化，对Python复杂对象（如Pandas的列对象）的序列化/反序列化效率更高；同时它的进程池管理逻辑更适配数值计算场景，进程启动、销毁的隐性开销更低。
4. 任务粒度自动适配：Joblib会根据单个任务的耗时自动调整任务批量大小，比手动固定12批的方式更贴合实际计算需求，进一步提升核心利用率。

内容的提问来源于stack exchange，提问作者Doel10