如何在Python中测量线程池任务的等待启动时长？

因为ThreadPoolExecutor没有提供直接获取任务等待启动时长的API，我们可以通过包装任务函数的方式实现需求，完全不用修改原method_to_run的代码。下面提供两种实用方案：

方案一：临时包装函数（单次使用） #

直接在提交任务时，用包装函数包裹原方法，自动记录提交时间与启动时间的差值：

import time
import uuid
from concurrent.futures import ThreadPoolExecutor

# 存储任务等待时长，用唯一ID关联
task_wait_times = {}

def wrap_task(method, submit_time, task_id):
    def wrapper(*args, **kwargs):
        # 记录任务实际启动时间
        start_time = time.time()
        # 计算等待时长并存储
        task_wait_times[task_id] = start_time - submit_time
        # 执行原方法
        return method(*args, **kwargs)
    return wrapper

# 使用示例
executor = ThreadPoolExecutor(thread_name_prefix='OMS.oms_thread_', max_workers=16)
task_id = uuid.uuid4()
submit_time = time.time()
# 提交包装后的任务
task = executor.submit(wrap_task(method_to_run, submit_time, task_id), args)

# 任务启动执行后，即可通过task_id获取等待时长
# 比如等待任务完成后查看：
task.result()
print(f"任务等待时长：{task_wait_times[task_id]:.3f} 秒")

方案二：自定义ThreadPoolExecutor（多次复用） #

如果需要频繁测量任务等待时长，建议继承ThreadPoolExecutor，重写submit方法实现自动计时，使用更简洁：

import time
import uuid
from concurrent.futures import ThreadPoolExecutor

class TimedThreadPoolExecutor(ThreadPoolExecutor):
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        # 内置字典存储每个任务的等待时长
        self.task_wait_times = {}

    def submit(self, fn, *args, **kwargs):
        # 记录任务提交时间
        submit_time = time.time()
        task_id = uuid.uuid4()

        # 包装原任务函数，添加计时逻辑
        def wrapped_task(*inner_args, **inner_kwargs):
            start_time = time.time()
            self.task_wait_times[task_id] = start_time - submit_time
            return fn(*inner_args, **inner_kwargs)

        # 调用父类的submit方法提交包装后的任务
        future = super().submit(wrapped_task, *args, **kwargs)
        # 将task_id绑定到future对象，方便后续关联查询
        future.task_id = task_id
        return future

# 使用示例
executor = TimedThreadPoolExecutor(thread_name_prefix='OMS.oms_thread_', max_workers=16)
task = executor.submit(method_to_run, args)

# 任务完成后获取等待时长
task.result()
wait_duration = executor.task_wait_times[task.task_id]
print(f"任务等待启动时长：{wait_duration:.3f} 秒")

原理说明 #

两种方案的核心都是在任务实际开始执行前插入计时逻辑：

1. 先记录任务被提交到线程池的时间
2. 任务真正被线程调度执行时，记录启动时间
3. 两者的差值就是任务在队列中等待启动的时长

这种方式完全不影响原method_to_run的功能和返回值，也无需修改原方法代码。

内容的提问来源于stack exchange，提问作者hoodakaushal