为何基于concurrent.futures的并行代码运行速度慢于串行代码？

你的并行代码更慢的核心原因集中在GIL限制、任务粒度不当以及计算效率匹配这几个方面，具体拆解和建议如下：

1. 线程池不适合CPU密集型任务 #

Python的ThreadPoolExecutor受全局解释器锁（GIL）限制：同一时间只有一个线程能执行Python字节码。你的相关性计算属于CPU密集型任务，线程切换的开销会完全抵消并行收益，甚至因频繁调度拖慢整体速度。

解决办法：改用ProcessPoolExecutor，进程拥有独立的Python解释器和GIL，能真正利用多核CPU并行处理CPU密集型任务。示例代码：

from concurrent.futures import ProcessPoolExecutor
import numpy as np

def compute_corr_batch(sig, data_batch):
    return [np.corrcoef(sig, item)[0,1] for item in data_batch]

# 打包任务，减少进程调度开销
batch_size = 100
batches = [data_mat[i:i+batch_size] for i in range(0, len(data_mat), batch_size)]

with ProcessPoolExecutor(max_workers=4) as executor:
    results = list(executor.map(lambda batch: compute_corr_batch(sigs, batch), batches))

# 合并结果
corr_coefs = [item for sublist in results for item in sublist]

2. 任务粒度太小导致开销过高 #

如果单个相关性计算的耗时极短，线程/进程的创建、调度、数据传递开销会远大于并行计算的收益。比如每次只计算一个列表的相关性，调度成本占比太高。

解决办法：将多个计算任务打包成一个批次，比如一次处理100个或更多列表的相关性计算，减少任务提交次数，降低调度开销。

3. 串行代码可能用了底层优化 #

你的串行代码如果依赖numpy等库的内置函数（比如np.corrcoef），这些函数是C实现的，执行时会绕过GIL，效率远高于纯Python循环。而并行版本如果在Python层拆分任务，反而无法利用这些底层优化，导致单任务效率下降。

解决办法：确保并行任务中的计算逻辑依然使用向量化操作，避免纯Python循环。比如在批次处理中，尽量用numpy的批量计算接口，减少Python代码的执行量。

4. 数据传递的额外开销 #

如果sigs或data_mat是大型数据集，使用线程/进程池时，每次提交任务都可能涉及数据复制（尤其是进程池，需要序列化数据），带来额外开销。

解决办法：

• 对于进程池，使用initializer参数在子进程启动时加载大数据集，避免重复传递：

import os
from concurrent.futures import ProcessPoolExecutor
import numpy as np

def init_worker(sigs_global, data_mat_global):
    global sigs, data_mat
    sigs = sigs_global
    data_mat = data_mat_global

def compute_corr_by_indices(batch_indices):
    return [np.corrcoef(sigs, data_mat[i])[0,1] for i in batch_indices]

# 按索引分批，避免传递大列表
batch_size = 100
indices_batches = [list(range(i, min(i+batch_size, len(data_mat)))) for i in range(0, len(data_mat), batch_size)]

with ProcessPoolExecutor(max_workers=os.cpu_count(), initializer=init_worker, initargs=(sigs, data_mat)) as executor:
    results = list(executor.map(compute_corr_by_indices, indices_batches))

corr_coefs = [item for sublist in results for item in sublist]

• 对于线程池，直接使用全局变量共享大数据集，减少数据复制。

5. 调整并行度参数 #

max_workers设置过高会导致过多调度开销，通常建议：

• 进程池：设置为CPU核心数（可通过os.cpu_count()获取）
• 线程池：仅适合IO密集型任务，CPU密集型任务不建议使用

内容的提问来源于stack exchange，提问作者AxieKendy