Python多线程遇异常如何终止所有线程？（concurrent.futures场景）

你的代码核心问题在于：future.cancel() 只能取消尚未被线程池调度执行的任务，对已经在运行中的线程完全无效。这就是为什么有时异常抛出快，有时慢：

• 快的情况：异常发生时，其他任务还没被分配到线程执行，cancel()成功终止了这些待启动任务，所以立刻抛出异常。
• 慢的情况：异常发生时，部分任务已经在运行，cancel()无法终止它们，这些线程会继续执行到完成，导致耗时很久才抛出异常。

Python没有安全的强制终止线程的机制（强制终止可能导致资源泄漏、数据损坏），所以必须用协作式中断的方式，让任务主动检查终止信号并退出。

修改方案 #

1. 给任务添加终止信号检查 #

在你的get_pdf_multi_thread函数中，加入一个共享的threading.Event对象，在关键执行节点（比如循环间隙、IO操作前后）检查这个信号，一旦信号被触发，就主动退出任务。

示例修改后的任务函数（假设是类方法，可调整参数传递方式）：

import threading

class YourClass:
    def get_pdf_multi_thread(self, ssn, stop_event):
        try:
            # 示例：模拟业务逻辑中的循环/IO操作
            while not stop_event.is_set():
                # 执行PDF获取的核心逻辑，比如网络请求
                # 每次操作后检查终止信号
                # 比如用requests发送请求时，设置超时，避免无限阻塞
                # response = requests.get(url, timeout=5)
                
                # 模拟耗时操作
                import time
                time.sleep(1)
                
                # 检查终止信号，若触发则退出
                if stop_event.is_set():
                    break
                
                # 继续后续业务逻辑...
                
        except Exception as exc:
            # 抛出异常，让主逻辑捕获
            raise exc
        finally:
            # 确保资源释放（比如关闭文件、网络连接）
            pass

2. 修改主执行逻辑 #

在主代码中创建stop_event，传递给每个任务，当捕获到异常时，设置终止信号，取消未启动的任务：

import concurrent.futures
import threading

# 创建全局终止事件（或作为参数传递）
stop_event = threading.Event()

with concurrent.futures.ThreadPoolExecutor() as executor:
    # 提交任务时传递stop_event
    future_results = [executor.submit(f.get_pdf_multi_thread, ssn, stop_event) for ssn in ssns]
    
    try:
        # 遍历已完成的任务
        for future in concurrent.futures.as_completed(future_results):
            future.result()
    except Exception as exc:
        # 设置终止信号，通知所有运行中的任务停止
        stop_event.set()
        # 取消所有尚未启动的任务
        for future in future_results:
            if not future.done():
                future.cancel()
        # 抛出捕获的异常
        raise exc

额外说明 #

• 如果你的任务中有长时间阻塞的IO操作（比如无超时的网络请求），必须给这些操作设置超时，或者使用支持中断的IO方法，否则任务无法及时响应终止信号。
• 协作式中断是Python中安全终止线程的唯一方式，避免了强制终止带来的资源泄漏风险。

内容的提问来源于stack exchange，提问作者Andoni