Python用joblib写并行循环时报错:无法解包非可迭代NoneType对象
错误根因
- 核心问题是
joblib.Parallel的调用语法错误
你没有使用delayed装饰要执行的任务函数,(foo)(array,i)的写法会直接在主进程同步执行foo函数,而你的foo没有显式return内容,返回值为None。joblib.Parallel要求传入的可迭代对象的每个元素必须是(待执行函数, 位置参数, 关键字参数)的三元组结构,运行时尝试对None做解包操作,就触发了cannot unpack non-iterable NoneType object报错。 - 数组被修改的原因
你观察到的数组修改和joblib的并行功能完全无关:foo是直接在主进程同步执行的,修改的就是主进程里的原始数组,并行逻辑完全没有触发。
修复方案
第一步:修正并行调用语法
正确使用delayed装饰目标函数,将Parallel调用行改为:
Parallel(n_jobs=8, verbose = 0)(delayed(foo)(array, i) for i in inputs)
提示:你的原始代码漏了numpy导入,运行前需要补
import numpy as np,否则会报NameError: name 'np' is not defined。
第二步:处理多进程内存隔离问题
修正语法后你会发现主进程的my_array不会再被修改,这是正常现象:默认多进程模式下每个子进程有独立的内存空间,会复制一份独立的数组副本,子进程的修改不会影响主进程的原始数据。如果需要拿到修改后的结果,有两种常用方案:
- 方案1:子进程返回结果,主进程合并
让foo返回修改后的数组片段,主进程接收所有返回值后合并到原始数组,示例:
import numpy as np from joblib import Parallel, delayed my_array = np.zeros((2,3)) def foo(x): row = [25,25,25] return x, row def main(array): print(id(array), 'Original array') inputs = [0,1] if __name__ == '__main__': # 接收所有子进程返回的结果 results = Parallel(n_jobs=8, verbose = 0)(delayed(foo)(i) for i in inputs) # 合并结果到主进程的原始数组 for x, row in results: array[x] = row print(my_array, id(array), 'Original array') main(my_array)
- 方案2:使用共享内存数组
将numpy数组声明为共享内存对象,所有子进程直接操作同一块内存空间,不需要额外的结果合并操作,适合处理大数组的场景。
内容的提问来源于stack exchange,提问作者john
相关产品推荐
相关产品推荐

