ThreadPoolExecutor运行缓慢，如何在线程结束后立即启动新线程？

你的代码核心问题在于主线程阻塞在driver创建环节，导致线程池有空位时无法立刻提交新任务。下面是具体的优化方案：

问题根源 #

原代码中，self.GetNewInstance（大概率是启动浏览器这类耗时操作）是在主线程中执行的，每次提交新线程前都要等driver创建完成，这直接拖慢了新任务的提交速度，无法做到线程结束后即时补充。

优化方案 #

把driver的创建逻辑移到子线程任务内部，主线程只负责提交任务和监听任务完成状态，一旦有线程结束就立刻提交新任务：

代码示例 #

def worker_task(self, session_id, url, name, try_limits):
    # 把driver创建放到子线程里，避免阻塞主线程
    driver = self.GetNewInstance(session_id, url)
    self.GET_NAME(driver, name, try_limits)

with concurrent.futures.ThreadPoolExecutor(max_workers=10) as executor:
    # 先提交10个初始任务，填满线程池
    active_futures = set()
    for _ in range(10):
        future = executor.submit(self.worker_task, self.session_id, self.url, self.name, self.try_limits)
        active_futures.add(future)
    
    # 循环监听任务完成，即时补充新任务
    while True:
        # 等待任意一个任务完成
        for completed_future in concurrent.futures.as_completed(active_futures):
            active_futures.remove(completed_future)
            
            # 可选：处理任务执行结果或异常
            try:
                completed_future.result()
            except Exception as e:
                # 根据需求处理异常，比如打印日志
                print(f"任务执行异常: {str(e)}")
            
            # 提交新任务，维持线程池的10个线程运行
            new_future = executor.submit(self.worker_task, self.session_id, self.url, self.name, self.try_limits)
            active_futures.add(new_future)

关键优化点 #

1. 任务与资源创建解耦：将driver创建从主线程移到子线程任务中，主线程不再被耗时的资源初始化操作阻塞，能快速响应线程池的空闲状态。
2. 主动监听任务完成：使用as_completed监听已完成的任务，一旦有线程结束就立刻提交新任务，保证线程池始终维持10个运行中的线程。
3. 异常处理：捕获任务执行中的异常，避免单个任务崩溃导致整个循环中断。

内容的提问来源于stack exchange，提问作者HappySid