GridSearchCV嵌套并行导致程序无限挂起的问题求助

问题现象 #

使用process_map做外层任务并行，每个任务内部调用GridSearchCV并设置n_jobs>1时，所有子任务执行完成后，脚本会卡在返回results的步骤无限挂起；仅当GridSearchCV的n_jobs=1时，整个流程正常运行。伪代码如下：

from tqdm.contrib.concurrent import process_map
from sklearn.model_selection import GridSearchCV

def main():
    results = process_map(func, it, max_workers=5)
    # 当GridSearchCV的n_jobs>1时，永远无法执行到这里

def func(it):
    # 其他预处理逻辑
    grid_search = GridSearchCV(..., n_jobs=5)
    grid_search.fit(X, y)
    # 其他后处理逻辑
    return result

if __name__ == "__main__":
    main()

需求是同时保留外层任务并行与内层网格搜索的并行，以最大化利用计算资源。

原因分析 #

核心是进程嵌套启动的兼容性冲突：

• tqdm.contrib.concurrent.process_map基于Python标准库的multiprocessing模块启动进程；
• GridSearchCV的n_jobs>1默认使用joblib的进程管理，旧版本或特定环境下可能复用multiprocessing的fork机制；
• 嵌套使用multiprocessing启动进程时，会触发进程回收的死锁——主进程等待外层子进程结束，而外层子进程因内部子进程的资源未正确释放，无法正常退出，最终导致整个脚本挂起。

解决方案 #

方法一：给GridSearchCV指定loky后端（推荐） #

loky是joblib从0.12版本开始默认的并行后端，专门解决嵌套并行的兼容性问题。显式指定后端可以避免multiprocessing嵌套的死锁：

from tqdm.contrib.concurrent import process_map
from sklearn.model_selection import GridSearchCV
from joblib import parallel_backend

def main():
    results = process_map(func, it, max_workers=5)

def func(item):
    # 预处理逻辑
    with parallel_backend('loky', n_jobs=5):
        grid_search = GridSearchCV(estimator, param_grid, n_jobs=5)
        grid_search.fit(X, y)
    # 后处理逻辑
    return result

if __name__ == "__main__":
    main()

若使用scikit-learn 1.2及以上版本，可直接在GridSearchCV中指定backend参数，无需上下文管理器：

grid_search = GridSearchCV(estimator, param_grid, n_jobs=5, backend='loky')

方法二：统一使用joblib管理内外层并行 #

将外层的process_map替换为joblib的Parallel+delayed，让内外层并行都由joblib统一调度，自动处理嵌套并行的资源分配：

from joblib import Parallel, delayed
from sklearn.model_selection import GridSearchCV
from tqdm import tqdm

def main():
    # 用tqdm包装迭代器显示进度
    results = Parallel(n_jobs=5)(delayed(func)(item) for item in tqdm(it))

def func(item):
    # 预处理逻辑
    grid_search = GridSearchCV(estimator, param_grid, n_jobs=5)
    grid_search.fit(X, y)
    # 后处理逻辑
    return result

if __name__ == "__main__":
    main()

方法三：控制总进程数避免资源耗尽 #

若必须保留process_map，除了指定loky后端，还需限制外层+内层的总进程数不超过CPU核心数，减少资源竞争导致的挂起概率：

# 外层并行用2个进程
results = process_map(func, it, max_workers=2)
# 内层网格搜索用3个进程（总进程数2*3=6，建议不超过CPU核心数）
grid_search = GridSearchCV(..., n_jobs=3)

内容的提问来源于stack exchange，提问作者Droid