Python中如何解决多线程下Selenium/Chromium实例互相干扰问题

问题根因 #

所有输入操作集中到最后一个启动的Chrome实例，本质是全局共享变量的引用覆盖问题。

• 代码中声明的全局driver是所有线程可读写的公共内存空间，每次新线程执行createBot()时，都会把全局引用重新指向最新初始化的Chrome实例
• 线程启动存在调度延迟，当较早启动的线程准备执行send_keys操作时，全局driver已经被后续新启动的线程覆盖为最后一个创建的实例，因此所有输入操作最终都会落到同一个窗口里
• 此前流传的"用全局变量防止driver被自动关闭"是错误经验：只要代码中持有driver对象的强引用，Python垃圾回收机制就不会回收该对象，完全不需要通过全局变量声明做特殊处理

隔离实现方案 #

要实现每个实例独立执行操作，只需要调整变量作用域，加上并发控制即可：

• 将driver对象改为函数内的局部变量，每个线程独立持有自己的driver引用，从根源上避免跨线程的引用覆盖
• 用全局列表统一存放所有需要保留的driver引用，替代之前的全局变量，保证所有创建的窗口不会被意外回收
• 用信号量限制最大并发启动数，避免一次性拉起过多Chrome实例占用满系统资源

修正后可运行的代码示例 #

from threading import Thread, Semaphore
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('headless')
# 限制同时运行的Chrome实例数量，避免资源过载
MAX_CONCURRENT = 5
# 全局列表持有所有存活的driver引用，防止被GC自动回收
active_drivers = []
# 信号量控制最大并发数
sem = Semaphore(MAX_CONCURRENT)

def createBot():
    sem.acquire()
    # 局部变量thread_driver为当前线程独立持有，不会被其他线程覆盖
    thread_driver = webdriver.Chrome(options=chrome_options)
    active_drivers.append(thread_driver)
    try:
        thread_driver.get("https://example.com")
        input_box = thread_driver.find_element_by_id("input-box-whatever")
        input_box.send_keys("username")
        input_box.send_keys(Keys.ENTER)
        # 在此处可以补充需要保留窗口的等待逻辑
    finally:
        sem.release()

# 批量启动任务
for _ in range(100):
    Thread(target=createBot).start()

# 主线程保持存活，避免程序退出导致所有driver被销毁
while True:
    time.sleep(3600)

常见误区澄清 #

• Selenium与多线程的兼容性：WebDriver对象本身是支持线程隔离的，只要每个线程只操作自己持有的driver实例，就不会出现操作串窗的问题，之前的故障完全是共享全局变量导致的，并非多线程模式本身不兼容Selenium
• driver被意外关闭的逻辑：driver被回收的唯一触发条件是代码中不再持有该对象的强引用，和是否声明为全局变量没有关系，存在局部变量、列表、类属性中都能保证对象存活
• 高并发的资源问题：单实例headless Chrome内存占用约100~300MB，无限制启动100个实例必然会打满系统内存，通过信号量控制并发数后，同一时间仅运行设定数量的实例，等当前实例完成操作（可设置保留时长后主动销毁）再启动下一个任务，就能避免系统崩溃

后续优化方向 #

如果需要长期运行高频重复的输入操作，可以分析目标站点的网络请求逻辑，直接通过HTTP请求完成输入流程，这种方式的资源占用仅为Selenium模式的几十分之一，只是需要逆向接口的鉴权规则，适配成本相对更高。

内容的提问来源于stack exchange，提问作者Jackson