Python Concurrent Futures遇未处理异常仍执行任务的原因及终止方案

现象原因 #

1. 任务已全部提交，线程池会执行完所有已提交任务 #

代码中通过字典推导式一次性将5000个任务全部提交到ThreadPoolExecutor的任务队列中。ThreadPoolExecutor的上下文管理器（with语句）会在退出代码块前，强制等待所有已提交的任务执行完毕，哪怕主线程因异常终止了循环流程。

2. 异常输出被延迟或未被及时观测 #

调用future.result()时，任务内部抛出的异常会被重新抛出，但主线程在抛出异常后，会先执行with块的退出逻辑（等待所有任务完成），之后才会输出异常栈。如果用户在任务执行过程中没有观测到异常，是因为异常信息被延迟到所有任务结束后才打印；若中途强制终止程序，则可能完全看不到异常输出。

实现遇异常立即退出的方案 #

要实现异常发生时程序立即退出，需要做到两点：及时捕获并输出异常、终止所有未完成任务并立即退出主线程。

方案1：捕获异常后关闭线程池并强制退出 #

通过try-except捕获future.result()抛出的异常，立即关闭线程池并不等待未完成任务，随后强制退出程序。注意：默认线程池的线程为非守护线程，即使主线程退出，它们仍会继续运行直到任务结束。

修改后的代码：

import concurrent.futures
import time
import sys


def throw_func(a):
    print(a)
    time.sleep(10)
    raise ValueError(a)


params = list(range(5000))

with concurrent.futures.ThreadPoolExecutor(max_workers=4) as executor:
    future_to_row = {executor.submit(throw_func, param): param for param in params}
    try:
        for future in concurrent.futures.as_completed(future_to_row):
            row = future_to_row[future]
            future.result()
    except Exception as e:
        print(f"捕获异常: {e}")
        # 关闭线程池，不等待未完成任务
        executor.shutdown(wait=False)
        # 强制退出程序
        sys.exit(1)

方案2：使用守护线程+强制退出（彻底终止所有任务） #

自定义线程工厂创建守护线程，这样主线程退出时，所有守护线程会自动终止。结合方案1的逻辑，可实现异常发生后立即停止所有任务并退出程序。

修改后的代码：

import concurrent.futures
import time
import sys
import threading


def throw_func(a):
    print(a)
    time.sleep(10)
    raise ValueError(a)


params = list(range(5000))

# 自定义线程工厂，生成守护线程
def daemon_thread_factory():
    thread = threading.Thread()
    thread.daemon = True
    return thread

with concurrent.futures.ThreadPoolExecutor(
    max_workers=4,
    thread_factory=daemon_thread_factory
) as executor:
    future_to_row = {executor.submit(throw_func, param): param for param in params}
    try:
        for future in concurrent.futures.as_completed(future_to_row):
            row = future_to_row[future]
            future.result()
    except Exception as e:
        print(f"捕获异常: {e}")
        executor.shutdown(wait=False)
        sys.exit(1)

内容的提问来源于stack exchange，提问作者Vikash Balasubramanian