多核心计算加速失效：为何4核与单核运算耗时差异极小？

问题背景 #

尝试通过多核心计算缩短运算耗时，实现代码如下：

from joblib import Parallel, delayed
import pandas as pd
import time

data = pd.DataFrame({'val' : range(100000)})

def process(i):
    return data.copy().loc[i, 'val'] * data.loc[i, 'val']


start1 = time.time()    
results1 = Parallel(n_jobs=4)(delayed(process)(i) for i in range(data.shape[0]))
end1 = time.time()

start2 = time.time()    
results2 = Parallel(n_jobs=1)(delayed(process)(i) for i in range(data.shape[0]))
end2 = time.time()

print(end1 - start1)
print(end2 - start2)

实际测试发现单核（n_jobs=1）耗时仅比4核略长，远未达到预期的4倍差距，询问实现是否存在问题。

核心问题分析 #

你的实现存在几个关键问题，导致多核心加速效果极差：

• 不必要的DataFrame拷贝：process函数里每次调用都执行data.copy()，这是巨大的性能开销。拷贝10万次DataFrame的耗时，远远超过了计算val*val本身的时间，多核心的并行优势被拷贝开销完全抵消。
• 任务粒度太小：每个process(i)只处理单个元素的计算，任务本身计算量极小，但进程间通信、任务调度的开销却很大。这种细粒度任务的调度成本会吃掉多核心的加速收益。
• Pandas索引访问低效：循环中通过loc[i, 'val']单个访问元素，不符合Pandas的高效用法——Pandas更适合向量化操作而非逐元素循环。

优化方案 #

方案1：移除冗余拷贝+调整任务粒度 #

把数据分片处理，减少任务调度次数，同时去掉无意义的拷贝：

from joblib import Parallel, delayed
import pandas as pd
import time

data = pd.DataFrame({'val' : range(100000)})

# 按分片处理任务，增大任务粒度
def process_chunk(chunk):
    return (chunk['val'] ** 2).tolist()

# 把数据分成4个分片，对应4核
chunks = [data.iloc[i::4] for i in range(4)]

start1 = time.time()
results1 = Parallel(n_jobs=4)(delayed(process_chunk)(chunk) for chunk in chunks)
# 合并分片结果
results1 = [item for sublist in results1 for item in sublist]
end1 = time.time()

start2 = time.time()
results2 = (data['val'] ** 2).tolist()
end2 = time.time()

print(f"4核耗时: {end1 - start1:.4f}秒")
print(f"单核向量化耗时: {end2 - start2:.4f}秒")

方案2：直接使用Pandas向量化操作 #

Pandas本身的向量化运算底层基于C实现，优化程度远高于手动并行，这也是Pandas的最佳实践：

results = data['val'] ** 2

这种方式的耗时会比任何手动并行实现都更短，彻底避免了Python层面的循环开销。

效果说明 #

优化后，多核心的加速比会接近预期的核心数；而向量化操作的性能会远超手动并行——只有当计算无法向量化且单任务计算量足够大时，才需要考虑手动多核心并行。

内容的提问来源于stack exchange，提问作者Brian Smith