ThreadPoolExecutor是否保证将N个任务均匀分配到N个线程上？

问题结论 #

答案是否定的，你给出的代码无法100%保证5个任务立即全部启动并运行在独立线程上。

原因说明 #

• executor.map 的实现存在版本差异，部分旧版本Python的实现采用惰性提交逻辑，只有迭代其返回的迭代器时才会逐步提交任务，即使外层套了list()做强制迭代，极端场景下仍可能出现任务提交滞后，无法保证所有任务同时被提交。
• ThreadPoolExecutor默认采用按需创建线程的策略，虽然你设置了max_workers=5，但线程池不会预先初始化所有线程，仅当任务提交时才会逐个创建对应线程，部分场景下可能出现线程创建延迟。
• executor.map会严格按输入顺序返回结果，主线程调用list()消费时的阻塞逻辑，也无法作为所有任务已启动的判断依据。

正确实现方案 #

你可以改用executor.submit手动提交所有任务，先收集所有Future对象再统一获取结果，即可保证所有任务立即提交到线程池并行执行，示例代码如下：

from concurrent.futures import ThreadPoolExecutor

with ThreadPoolExecutor(max_workers=5) as executor:
    # 先一次性提交全部5个任务，所有任务会立即进入线程池调度队列
    futures = [executor.submit(task, i) for i in [0, 1, 2, 3, 4]]
    # 所有任务提交完成后，再逐个获取执行结果
    results = [future.result() for future in futures]

方案说明 #

• 调用executor.submit时会立即将任务提交到线程池的待执行队列，只要线程池的存活线程数未达到max_workers上限，就会立即创建新的独立线程执行任务，5个任务会在毫秒级时间内全部启动。
• 列表推导式提交任务的逻辑优先级远高于任务执行逻辑，不会出现提交一个任务等执行完再提交下一个的串行问题。
• 如果你要执行的是CPU密集型任务，受Python GIL（全局解释器锁）限制线程无法真正并行，可以直接将ThreadPoolExecutor替换为ProcessPoolExecutor，其余代码无需改动，即可实现多进程并行。

内容的提问来源于stack exchange，提问作者Alexander Soare