如何将两层for循环合并为一层以支持joblib框架的并行调用
解决方案
你可以通过生成两个循环序列的笛卡尔积,把两层嵌套循环的参数组合压成一维可迭代对象,就可以直接对接joblib的并行接口,具体实现如下:
实现步骤
- 用
itertools.product生成参数对的笛卡尔积(也可以手写生成器表达式实现,无需额外导包) - 直接把参数迭代器传入
joblib.Parallel执行即可
完整示例代码
from itertools import product from joblib import Parallel, delayed # 你的自定义复杂函数 def func(a, b): print(a, b) s1 = range(4) d2 = range(5) # 生成所有(s,d)参数组合,把两层循环合并为一维迭代器 all_params = product(s1, d2) # 并行执行,n_jobs=-1表示使用全部CPU核心 result = Parallel(n_jobs=-1)(delayed(func)(s, d) for s, d in all_params)
补充说明
- 不想导入
itertools的话,可以替换参数生成逻辑为生成器表达式,效果完全一致:all_params = ((s, d) for s in s1 for d in d2) - 如果
func有返回值,Parallel会按参数顺序把所有返回值整理成列表返回,无需手动收集结果 - 多进程下打印操作可能出现输出乱序,属于正常现象,不会影响实际计算逻辑
- 如果需要传递大对象给
func,可以开启joblib的共享内存参数减少内存拷贝开销
内容的提问来源于stack exchange,提问作者jaried
相关产品推荐
相关产品推荐

