Python使用undetected-chromedriver实现多线程浏览器会话问题

问题根源 #

多线程并发启动时，undetected-chromedriver默认使用的临时配置文件路径是全局共享的，多个线程同时尝试创建、写入同一个文件，就会触发"文件已存在"的错误。

解决方法 #

核心是给每个线程分配独立的临时配置目录，彻底避免文件竞争。具体操作：

• 为每个线程生成唯一的临时目录（借助tempfile模块自动创建）
• 初始化Chrome实例时，通过user_data_dir参数指定该专属目录
• 线程结束后自动清理临时目录（无需手动操作）

修改后的可运行代码 #

import threading
import tempfile
from undetected_chromedriver import Chrome, ChromeOptions
import time

def run_browser_session(session_id):
    # 为每个会话创建独立临时目录，线程结束后自动删除
    with tempfile.TemporaryDirectory() as temp_dir:
        options = ChromeOptions()
        # 指定专属用户数据目录，隔离多线程资源
        options.add_argument(f'--user-data-dir={temp_dir}')
        # 可选：添加通用配置
        options.add_argument('--disable-gpu')
        options.add_argument('--no-sandbox')

        try:
            driver = Chrome(options=options)
            print(f"会话 {session_id} 启动成功")
            # 替换为你的自动化操作逻辑
            driver.get("https://www.example.com")
            time.sleep(2)
        finally:
            # 确保浏览器正常关闭，释放资源
            driver.quit()
            print(f"会话 {session_id} 已关闭")

if __name__ == "__main__":
    # 启动5个并发会话示例
    threads = []
    for i in range(5):
        thread = threading.Thread(target=run_browser_session, args=(i+1,))
        threads.append(thread)
        thread.start()
    
    # 等待所有线程执行完成
    for thread in threads:
        thread.join()
    print("所有会话执行完毕")

关键修改说明 #

• tempfile.TemporaryDirectory()会自动生成唯一的临时目录，线程执行结束后自动销毁目录及内部文件，避免残留垃圾
• 每个线程使用独立的ChromeOptions实例和专属user_data_dir，从根本上杜绝多线程间的文件资源竞争
• try...finally块确保无论操作是否异常，浏览器都会被正常关闭，避免进程残留

额外排查要点 #

如果仍出现文件错误，检查以下内容：

• 不要在多线程中复用同一个ChromeOptions或Chrome实例，每个线程必须创建独立实例
• 确认系统临时目录有足够的读写权限
• 避免在自动化逻辑中硬编码固定的临时文件路径

内容的提问来源于stack exchange，提问作者branndais