Python多进程中sys.exit与Exception的差异及sys.exit(1)处理方案

一、两种子进程退出方式的差异 #

1. 抛出未捕获异常的情况 #

当子进程抛出Exception时，multiprocessing框架会自动捕获这个异常，将其序列化后传递给主进程。主进程收到异常信息后，会触发预先设置的error_callback，整个任务流程能正常收尾，不会出现挂起。

2. 调用sys.exit(1)的情况 #

Windows平台Python 3.7默认使用spawn方式启动子进程，sys.exit(1)是直接终止子进程，不会生成可被multiprocessing识别的序列化异常对象。主进程的Pool会一直等待子进程返回结果或异常数据，但子进程没有传递任何可解析的异常信息，导致pool.join()时主进程无限等待，最终挂起。

二、有效处理sys.exit(1)的方法 #

1. 用异常替代直接调用sys.exit #

将sys.exit(1)替换为抛出SystemExit异常，这样multiprocessing会捕获该异常并传递给主进程的error_callback：

def fn(i):
    print(i)
    time.sleep(1)
    raise SystemExit(1)  # 抛出异常而非直接exit

2. 包装子进程函数，捕获exit并转成异常 #

如果必须保留sys.exit调用，可以在子进程函数中捕获SystemExit，转换成其他可识别的异常抛出：

def fn(i):
    print(i)
    time.sleep(1)
    try:
        sys.exit(1)
    except SystemExit as e:
        # 转成RuntimeError，附带退出状态码
        raise RuntimeError(f"子进程异常退出，状态码：{e.code}") from e

3. 主动轮询任务状态（备选方案） #

通过apply_async返回的AsyncResult对象，主动检查任务是否完成、是否成功：

def run():
    errors = []
    def error_callback(e):
        errors.append(e)

    with mp.Pool(processes=2) as pool:
        tasks = []
        for i in range(3):
            res = pool.apply_async(fn, args=[i], callback=callback, error_callback=error_callback)
            tasks.append(res)
        
        # 轮询任务状态
        while not all(task.ready() for task in tasks):
            time.sleep(0.1)
        
        pool.close()
        pool.join()

    for e in errors:
        print(e)

不过这种方式需要额外的轮询逻辑，不如前两种异常处理方案简洁可靠。

修改后的完整代码示例 #

import multiprocessing as mp
import time
import sys

def fn(i):
    print(i)
    time.sleep(1)
    raise SystemExit(1)  # 替换sys.exit(1)为抛出异常

def callback(result):
    print('Callback')

def run():
    errors = []
    def error_callback(e):
        errors.append(e)

    with mp.Pool(processes=2) as pool:
        for i in range(3):
            pool.apply_async(fn, args=[i], callback=callback, error_callback=error_callback)
        pool.close()
        pool.join()

    for e in errors:
        print(e)

if __name__ == '__main__':
    run()

内容的提问来源于stack exchange，提问作者gdRow