multiprocessing.Pool遇异常时的行为及异常捕获问题

先贴出你提供的代码片段：

jobs = [list_of_values_to_consume_and_act]
with multiprocessing.Pool(8) as pool:
    results = pool.map(func, jobs)

针对你提出的四个问题，逐一解答如下：

1. 仅终止抛出异常的进程，其余进程继续处理任务吗？

• 是的。当func执行抛出异常时，只有执行该任务的子进程会被终止，进程池中其他正常运行的进程不受影响，会继续处理剩余的任务。

2. 若是，是否会启动新进程补充空缺？

• 会的。进程池会自动启动一个新的子进程来填补因异常终止而空出来的位置，始终保持你指定的8个进程规模。

3. 异常进程正在处理的任务是否会重新提交至进程池？

• 不会。pool.map不会自动重试失败的任务，抛出异常的任务会直接标记为失败，不会被重新执行。如果需要重试逻辑，得自己在代码里实现，比如捕获异常后手动重新提交任务，或者单独维护失败任务列表循环处理。

4. 无论何种情况，如何捕获该异常？

• 最直接的方式是用try-except包裹pool.map的调用。当任何任务抛出异常时，pool.map会将异常包装后在主进程中抛出，你可以直接捕获：

import multiprocessing

def func(item):
    # 模拟抛出异常的场景
    if item == 3:
        raise ValueError("触发测试异常")
    return item * 2

if __name__ == "__main__":
    jobs = [1,2,3,4,5]
    try:
        with multiprocessing.Pool(8) as pool:
            results = pool.map(func, jobs)
        print(results)
    except Exception as e:
        print(f"捕获到异常: {e}")

• 如果需要逐个处理任务异常（不终止整个map流程），可以改用pool.imap或pool.imap_unordered，遍历结果时逐个捕获：

import multiprocessing

def func(item):
    if item == 3:
        raise ValueError("触发测试异常")
    return item * 2

if __name__ == "__main__":
    jobs = [1,2,3,4,5]
    results = []
    with multiprocessing.Pool(8) as pool:
        for result in pool.imap(func, jobs):
            try:
                results.append(result)
            except Exception as e:
                print(f"单个任务异常: {e}")
                # 此处可添加重试、记录日志等自定义处理逻辑
    print(results)

内容的提问来源于stack exchange，提问作者pepoluan