如何在Python中实现无信息共享的多CPU/核心循环并行化

首先纠正你代码里的调用格式问题，Parallel的正确写法是先初始化并行对象，再传入delayed任务的生成器：

{import other libraries and packages needed}
from joblib import Parallel, delayed
import numpy as np

Lambda = np.array([1,2,3,4,5])

def mainfunc(arg):
    # 确保所有操作仅依赖传入的arg，不依赖外部可变全局状态
    {perform a whole bunch of operations using arg}

# 正确调用方式
results = Parallel(n_jobs=-2, prefer="processes")(
    delayed(mainfunc)(Lambda[i]) for i in range(len(Lambda))
)

要实现进程完全隔离，你需要做到这几点：

• 清除全局可变依赖：检查mainfunc里是否用到外部的可变对象（比如全局列表、字典、类实例）。如果有，要么把这些对象作为参数传入函数（每个进程会拿到独立副本），要么在函数内部重新初始化，彻底切断外部状态依赖。
• 强制使用进程模式：显式设置prefer="processes"，joblib默认的loky后端进程模式下，每个进程拥有独立内存空间，不会共享全局变量（和线程模式的内存共享本质不同）。
• 避免共享输出资源：如果mainfunc有写入文件、数据库等操作，每个进程必须使用独立的输出路径或标识，禁止多个进程操作同一资源，否则会出现数据交叉覆盖的假象。
• 函数内仅处理局部状态：不要在mainfunc里尝试修改外部变量，哪怕是全局numpy数组，进程间修改的都是各自的副本。所有计算逻辑都在函数内部完成，结果通过return返回，最后统一收集。

如果还是出现信息共享的情况，几乎可以肯定是mainfunc里悄悄依赖了外部可变状态，仔细排查函数内的变量来源，把所有依赖改成显式传入的参数就能解决。

内容的提问来源于stack exchange，提问作者Mudit Jain