Python如何通过多线程控制固定并发数运行Chrome实例

你当前编写的代码采用的是「批次运行」逻辑：每轮启动5个Chrome实例，必须等这一轮的5个实例全部退出后才会启动下一轮5个，无法满足单实例提前退出时立即补充新实例的需求。

可直接运行的实现代码 #

使用Python标准库自带的ThreadPoolExecutor可以最简单地实现需求，无需手动维护线程生命周期：

import threading
from concurrent.futures import ThreadPoolExecutor

# 你原有启动Chrome的函数，无需修改内部逻辑
def run_chrome_browser():
    # 此处为你原有启动Chrome实例的代码，函数返回即代表Chrome实例退出
    pass

if __name__ == "__main__":
    TOTAL_INSTANCES = 50  # 总计要运行的Chrome实例数
    MAX_CONCURRENT = 5    # 同时运行的最大实例数

    # 初始化线程池，固定最大工作线程数为5
    with ThreadPoolExecutor(max_workers=MAX_CONCURRENT) as executor:
        # 提交50次运行Chrome的任务到线程池即可
        for _ in range(TOTAL_INSTANCES):
            executor.submit(run_chrome_browser)

实现逻辑说明 #

• ThreadPoolExecutor会自动管理工作线程的调度，全程保证最多同时有MAX_CONCURRENT个线程在运行
• 当某一个Chrome实例退出（对应一个工作线程执行完run_chrome_browser函数），线程池会立刻将下一个待运行的任务分配给空闲的线程，启动新的Chrome实例
• 无需手动计数、手动维护线程列表，所有并发调度逻辑都由标准库内部实现，稳定性更高

注意事项 #

你自己实现的run_chrome_browser函数需要满足「Chrome实例退出后函数才会返回」的逻辑：如果你是用subprocess启动Chrome，需要调用subprocess.run(启动命令)或者对Popen对象调用p.wait()等待进程退出，不要只调用subprocess.Popen(启动命令)就直接返回，否则线程会立刻判定为任务结束，无法正确控制并发数。

内容的提问来源于stack exchange，提问作者anhhpvnu