如何用Python joblib填充全局变量？并行任务结果回收求助

哦，这个坑我可太熟悉了——用多进程的时候直接操作全局变量根本行不通！先给你说清楚原因，再给你两种靠谱的解决方案。

为什么你的代码没效果？ #

因为Joblib底层依赖的是multiprocessing，而多进程的每个子进程都会复制父进程的内存空间。你在子进程里修改的global_var，其实是父进程变量的一个独立副本，改完之后完全不会同步回主进程的那个变量。所以你跑完Parallel之后，主进程的global_var还是初始的全0状态。

方案1：收集结果后统一更新（推荐） #

最安全也最简单的做法是：让子进程只负责计算并返回结果，最后在主进程里统一把结果更新到全局变量里。这样完全绕开了多进程内存不共享的问题。

修改后的代码如下：

import numpy as np
import multiprocessing
from joblib import Parallel, delayed

# 初始化全局变量
global_var = np.zeros(10)

def populate(idx):
    print(f'I am core {idx}')
    # 不要直接修改全局变量，返回需要更新的索引和对应值
    return idx, idx

if __name__ == '__main__':
    num_cores = multiprocessing.cpu_count()
    # 并行执行，收集所有子进程返回的(索引, 值)对
    results = Parallel(n_jobs=num_cores)(delayed(populate)(idx) for idx in range(10))
    
    # 主进程里统一更新全局变量
    for idx, val in results:
        global_var[idx] = val
    
    print('最终全局变量:', global_var)

关键点说明： #

• 必须加if __name__ == '__main__':：这是Windows系统多进程的强制要求，避免程序无限递归创建子进程。
• 子进程只做计算：把计算逻辑和变量更新分开，子进程专注生成结果，主进程负责整合，逻辑更清晰，也避免了共享内存的各种问题。
• 扩展性强：如果你的计算逻辑更复杂（比如每个子进程处理一批数据），只需要让函数返回对应的索引范围和结果数组，主进程再拼接进去就行。

方案2：用共享内存直接修改（不推荐，除非必要） #

如果你一定要让子进程直接修改全局变量，可以用multiprocessing提供的共享内存对象。但这种方法需要处理类型转换，还可能遇到竞争条件（多个进程同时修改同一块内存），所以只在特殊场景下使用。

示例代码：

import numpy as np
import multiprocessing
from joblib import Parallel, delayed

def populate(idx, shared_arr):
    print(f'I am core {idx}')
    # 将共享内存对象转换成numpy数组进行操作
    np_arr = np.frombuffer(shared_arr.get_obj(), dtype=np.float64)
    np_arr[idx] = idx

if __name__ == '__main__':
    # 创建共享内存数组：类型为'd'（float64），长度10
    shared_global = multiprocessing.Array('d', 10)
    # 在主进程里创建共享数组的numpy视图，方便查看和操作
    global_var = np.frombuffer(shared_global.get_obj(), dtype=np.float64)
    
    num_cores = multiprocessing.cpu_count()
    # 把共享内存对象传给每个子进程
    Parallel(n_jobs=num_cores)(delayed(populate)(idx, shared_global) for idx in range(10))
    
    print('最终全局变量:', global_var)

注意事项： #

• 共享内存的类型必须提前指定（比如'd'对应float64），和numpy数组的 dtype 要一致。
• 如果多个进程可能同时修改同一块内存（比如两个进程改同一个索引），需要加锁（multiprocessing.Lock），否则会出现数据错乱。
• 这种方法的性能不一定比方案1好，因为共享内存的访问可能有额外开销。

内容的提问来源于stack exchange，提问作者angel.torrado