如何在嵌套函数调用中重用Joblib并行工作器（解决parallel未定义报错）

你碰到的这个错误其实很典型——变量作用域的问题：parallel是在func1的with Parallel(...) as parallel:代码块里创建的局部变量，func2作为独立函数，根本访问不到这个变量。下面给你两种符合Joblib上下文管理器API的解决方案，按需选择：

方案1：复用外层的Parallel工作池（推荐） #

最高效的方式是把外层创建的parallel实例作为参数传递给func2，这样就能在嵌套调用里复用同一个工作池，避免重复创建进程/线程的开销。修改后的代码如下：

from joblib import Parallel, delayed

def func1():
    with Parallel(n_jobs=-1) as parallel:
        # 把parallel实例作为参数传给func2
        var1 = parallel(delayed(func2)(parallel, i) for i in range(5))
        print(var1)

def func2(parallel, i):
    # 直接使用传入的parallel实例执行嵌套并行任务
    var2 = parallel(delayed(func3)(x, i) for x in range(5))
    return var2

def func3(x, i):
    return x + i

if __name__ == '__main__':
    func1()

这种方式完全契合Joblib上下文管理器的设计：工作池会在func1的with块结束后自动关闭，同时全程复用同一个池，性能最优。

方案2：在嵌套函数内新建Parallel上下文 #

如果不想传递参数，也可以在func2内部单独创建新的Parallel上下文，但要注意控制内层的n_jobs参数——如果外层已经用了n_jobs=-1（占用全部CPU核心），内层再用全核心会导致进程/线程爆炸，反而拖慢性能。推荐内层设为n_jobs=1（单线程/进程），或者根据实际核心数调整：

from joblib import Parallel, delayed

def func1():
    with Parallel(n_jobs=-1) as parallel:
        var1 = parallel(delayed(func2)(i) for i in range(5))
        print(var1)

def func2(i):
    # 在内层创建新的Parallel上下文，限制n_jobs避免资源耗尽
    with Parallel(n_jobs=1) as inner_parallel:
        var2 = inner_parallel(delayed(func3)(x, i) for x in range(5))
    return var2

def func3(x, i):
    return x + i

if __name__ == '__main__':
    func1()

这种方式的缺点是每次调用func2都会新建工作池，有额外的初始化开销，适合嵌套任务不多的场景。

额外注意事项 #

• 如果你使用的是Joblib默认的loky后端（多进程），嵌套多进程会有一定的系统开销，所以优先选方案1。
• 无论哪种方案，都要根据自己的CPU核心数和任务类型调整n_jobs，避免过度并行导致系统卡顿。

内容的提问来源于stack exchange，提问作者Tirtha R