You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Python用joblib写并行循环时报错:无法解包非可迭代NoneType对象

错误根因
  1. 核心问题是joblib.Parallel的调用语法错误
    你没有使用delayed装饰要执行的任务函数,(foo)(array,i)的写法会直接在主进程同步执行foo函数,而你的foo没有显式return内容,返回值为None。joblib.Parallel要求传入的可迭代对象的每个元素必须是(待执行函数, 位置参数, 关键字参数)的三元组结构,运行时尝试对None做解包操作,就触发了cannot unpack non-iterable NoneType object报错。
  2. 数组被修改的原因
    你观察到的数组修改和joblib的并行功能完全无关:foo是直接在主进程同步执行的,修改的就是主进程里的原始数组,并行逻辑完全没有触发。
修复方案

第一步:修正并行调用语法

正确使用delayed装饰目标函数,将Parallel调用行改为:

Parallel(n_jobs=8, verbose = 0)(delayed(foo)(array, i) for i in inputs)

提示:你的原始代码漏了numpy导入,运行前需要补import numpy as np,否则会报NameError: name 'np' is not defined。

第二步:处理多进程内存隔离问题

修正语法后你会发现主进程的my_array不会再被修改,这是正常现象:默认多进程模式下每个子进程有独立的内存空间,会复制一份独立的数组副本,子进程的修改不会影响主进程的原始数据。如果需要拿到修改后的结果,有两种常用方案:

  • 方案1:子进程返回结果,主进程合并
    让foo返回修改后的数组片段,主进程接收所有返回值后合并到原始数组,示例:
import numpy as np
from joblib import Parallel, delayed

my_array = np.zeros((2,3))

def foo(x):
    row = [25,25,25]
    return x, row

def main(array):
    print(id(array), 'Original array')
    inputs = [0,1]
    if __name__ == '__main__':
        # 接收所有子进程返回的结果
        results = Parallel(n_jobs=8, verbose = 0)(delayed(foo)(i) for i in inputs)
        # 合并结果到主进程的原始数组
        for x, row in results:
            array[x] = row
        print(my_array, id(array), 'Original array')

main(my_array)
  • 方案2:使用共享内存数组
    将numpy数组声明为共享内存对象,所有子进程直接操作同一块内存空间,不需要额外的结果合并操作,适合处理大数组的场景。

内容的提问来源于stack exchange,提问作者john

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.03 22:09:05