ProcessPoolExecutor执行完成后未终止fork出的Python进程求助

使用ProcessPoolExecutor提交批量任务后，即使调用shutdown(wait=True)，仍有部分fork生成的子进程卡在任务执行中，命令行可看到多个同名进程。代码示例如下：

executor = ProcessPoolExecutor()
futures = [executor.submit(self.create_models, a, b) for col in self.df.columns]
for future in as_completed(futures):
    try:
        model, col = future.result()
        models[f'm_{col}'] = model
    except Exception:
        logger.exception('Unable to get the results')
        raise
executor.shutdown(wait=True)

核心原因及解决思路 #

1. 任务函数create_models存在阻塞逻辑 #

检查create_models内部是否有无限循环、未处理的外部资源等待（如数据库锁、无超时的网络请求）、未捕获的异常导致进程挂起。

• 解决：给任务添加超时控制，既可以在as_completed层面设置全局超时，也可以在future.result()时单独设置：

from concurrent.futures import as_completed, TimeoutError

# 遍历任务时设置超时
for future in as_completed(futures, timeout=300):  # 5分钟全局超时
    try:
        model, col = future.result(timeout=300)  # 单个任务超时
        models[f'm_{col}'] = model
    except TimeoutError:
        logger.error("任务执行超时，强制终止")
    except Exception:
        logger.exception('获取任务结果失败')
        # 可选择不抛出异常，避免中断后续任务处理

2. 主进程异常终止导致子进程残留 #

如果循环中抛出的异常未被上层捕获，主进程会直接退出，shutdown可能未被执行，子进程会作为孤儿进程继续运行。

• 解决：用try...finally确保shutdown始终执行，无论是否发生异常：

executor = ProcessPoolExecutor()
try:
    futures = [executor.submit(self.create_models, a, b) for col in self.df.columns]
    for future in as_completed(futures):
        try:
            model, col = future.result()
            models[f'm_{col}'] = model
        except Exception:
            logger.exception('获取任务结果失败')
finally:
    executor.shutdown(wait=True)

3. 子进程无法响应终止信号 #

当子进程处于不可中断的系统调用（如磁盘IO阻塞）时，shutdown(wait=True)会一直等待任务完成，无法主动终止进程。

• 解决：shutdown后强制清理残留子进程，可借助psutil工具：

import psutil

executor.shutdown(wait=True)
# 清理主进程的所有子进程（按需过滤进程名）
current_proc = psutil.Process()
for child in current_proc.children(recursive=True):
    # 替换为你的子进程COMMAND标识
    if "python" in child.name() or child.cmdline()[0].endswith("python"):
        child.terminate()
        child.wait(timeout=10)  # 等待进程终止，超时则强制杀死
        if child.is_running():
            child.kill()

4. 任务函数存在资源泄漏 #

create_models中若未正确关闭文件、数据库连接、网络套接字等资源，进程在退出时可能因等待资源释放而挂起。

• 解决：使用with语句自动管理资源，确保所有资源在使用后及时释放：

def create_models(self, a, b):
    # 示例：用with管理数据库连接
    with self.db_connection() as conn:
        # 执行任务逻辑
        pass
    # 示例：用with管理文件
    with open("data.txt", "r") as f:
        data = f.read()
    # 任务逻辑...

内容的提问来源于stack exchange，提问作者Programmer