如何避免multiprocessing嵌套Pool的AssertionError并检测运行状态？

错误原因 #

Python的multiprocessing.Pool创建的子进程默认是守护进程（daemonic process），而守护进程被禁止创建自己的子进程，所以在Pool的子进程里再次调用Pool就会触发AssertionError: daemonic processes are not allowed to have children。

检测是否处于Pool运行环境 #

可以通过当前进程的属性判断：

import multiprocessing

def is_running_in_pool():
    current_proc = multiprocessing.current_process()
    # Pool的工作进程默认是守护进程，且名称以"PoolWorker-"开头
    return current_proc.daemon or current_proc.name.startswith("PoolWorker-")

实际使用示例 #

在需要创建Pool的逻辑里先做判断，避免嵌套调用：

def process_task():
    if is_running_in_pool():
        # 处于Pool子进程环境，改用单进程执行
        execute_task_single()
    else:
        # 主进程环境，正常启动Pool
        with multiprocessing.Pool() as pool:
            results = pool.map(execute_task, task_list)

其他替代方案 #

1. 改用线程池：如果任务是IO密集型的，可以用concurrent.futures.ThreadPoolExecutor替代子进程Pool，线程不存在守护进程不能创建子线程的限制，不过要注意GIL对CPU密集型任务的影响。
2. 重构代码逻辑：把需要嵌套并行的任务提前到主进程中处理，从根源避免在子进程内创建Pool。

内容的提问来源于stack exchange，提问作者00__00__00