如何将KeyboardInterrupt传播给multiprocessing Pool子进程并实现优雅退出？

我完全理解你的需求——按下Ctrl+C触发中断时，你希望每个子进程都能完整跑完上下文管理器的__exit__清理逻辑，而不是被主进程直接终止，同时还要避免启动剩余未处理的任务。

问题出在哪？ #

默认情况下，当主进程捕获到KeyboardInterrupt时，multiprocessing.Pool的上下文管理器会直接调用terminate()方法，强制杀死所有子进程。这就导致子进程的__exit__刚启动就被打断，没法完成后续的清理步骤（比如你代码里的time.sleep(5)和最终的打印）。

解决方案：手动管控Pool的中断处理 #

我们需要替换掉默认的“粗暴终止”逻辑，改为让主进程先等子进程做完清理，再退出。具体实现如下：

1. 放弃自动with块管理Pool：手动创建Pool，这样我们能自定义中断发生时的处理流程。
2. 捕获主进程的KeyboardInterrupt：在异常处理中，先关闭Pool阻止新任务启动，再等待所有运行中子进程完成清理，最后再抛出中断异常。
3. 阻止剩余任务执行：pool.close()会让Pool停止调度未启动的任务，正好满足你不想处理剩余 workload 的需求。

修改后的完整代码 #

import multiprocessing
import time

class MyContext:
    def __init__(self, name):
        self.name = name

    def __enter__(self):
        print(f'Entering context {self.name}')
        return self

    def __exit__(self, exc_type, exc_value, traceback):
        print(f'Exiting context {self.name}')
        time.sleep(5)
        print(f'Exited context {self.name}')


def process_name(name):
    with MyContext(name):
        print(f'Processing {name}')
        time.sleep(100)
        print(f'Finished {name}')


if __name__ == '__main__':
    names = ['Alice', 'Bob']
    # 手动创建Pool，接管生命周期控制权
    pool = multiprocessing.Pool(2)
    try:
        pool.map(process_name, names)
    except KeyboardInterrupt:
        print("\nReceived KeyboardInterrupt, waiting for workers to clean up...")
        # 停止接受新任务，未启动的任务直接丢弃
        pool.close()
        # 阻塞主进程，等待所有子进程完成清理
        pool.join()
        # 最后抛出原始中断异常，保留预期的错误提示
        raise
    finally:
        # 无异常时，正常关闭Pool
        if not pool._closed:
            pool.close()
            pool.join()

测试效果 #

按下Ctrl+C后，你会得到完全符合预期的输出：

Entering context Alice
Processing Alice
Entering context Bob
Processing Bob
^C
Received KeyboardInterrupt, waiting for workers to clean up...
Exiting context Alice
Exiting context Bob
Exited context Alice
Exited context Bob
KeyboardInterrupt

如果把Pool大小改为1，在Alice的处理过程中触发中断，Bob的任务会直接被跳过，完全匹配你的第二个需求：

Entering context Alice
Processing Alice
^C
Received KeyboardInterrupt, waiting for workers to clean up...
Exiting context Alice
Exited context Alice
KeyboardInterrupt

关键细节说明 #

• pool.close()：通知Pool不再接受新任务，所有未启动的任务都会被直接丢弃，正好满足你不处理剩余 workload 的要求。
• pool.join()：让主进程进入阻塞状态，直到所有正在运行的子进程完成所有逻辑（包括__exit__的清理）。
• 手动raise：保留了原始的KeyboardInterrupt异常，和你期望的最终输出一致。

备注：内容来源于stack exchange，提问作者gdamms