创建多个Selenium爬虫类实例并行运行的异常问题

嘿，Jake，我碰到过不少类似的Selenium多进程爬取的坑，你的问题大概率是资源隔离没做好或者进程初始化方式不对导致的。咱们一步步拆解问题，给你具体的解决方案：

1. Chrome实例未完全隔离：共享配置文件导致阻塞 #

默认情况下，Selenium启动Chrome时会复用同一个用户数据目录，多个进程同时操作会触发文件锁冲突——第二个进程拿不到资源权限，自然就停在着陆页无法执行后续操作。

解决办法：给每个爬虫实例分配独立的用户数据目录
在初始化ChromeDriver时，通过options.add_argument为每个进程指定独一无二的临时目录，彻底隔离资源：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import multiprocessing
import tempfile

class MySpider:
    def __init__(self, unique_profile_dir):
        self.options = Options()
        # 每个实例绑定独立的临时配置目录
        self.options.add_argument(f"user-data-dir={unique_profile_dir}")
        # 可选：禁用沙箱、GPU，避免环境兼容性问题
        self.options.add_argument("--no-sandbox")
        self.options.add_argument("--disable-gpu")
        self.driver = webdriver.Chrome(options=self.options)

    def crawl(self, target_url):
        self.driver.get(target_url)
        # 这里替换成你的爬取逻辑（比如解析页面、提取数据）
        print(f"完成爬取：{target_url}")
        # 爬取结束后务必关闭driver，释放资源
        self.driver.quit()

def run_spider(target_url):
    # 为每个进程自动创建临时目录，进程结束后会自动清理
    with tempfile.TemporaryDirectory() as temp_dir:
        spider = MySpider(temp_dir)
        spider.crawl(target_url)

if __name__ == "__main__":
    # 要爬取的目标地址列表
    target_urls = ["https://example.com/region-a", "https://example.com/region-b"]
    processes = []
    
    # 启动多进程
    for url in target_urls:
        p = multiprocessing.Process(target=run_spider, args=(url,))
        processes.append(p)
        p.start()
    
    # 等待所有进程完成
    for p in processes:
        p.join()

2. 全局变量/共享状态干扰 #

如果你的爬虫类依赖了全局变量（比如全局的driver实例、全局配置对象），多进程环境下会因为资源竞争或GIL限制，导致只有一个进程能正常执行逻辑。

解决办法：确保每个进程的爬虫实例完全独立

• 绝对不要在主进程中提前初始化driver，必须在子进程内部完成所有初始化操作（就像上面的run_spider函数，在进程内创建爬虫实例）
• 避免在类外定义全局的爬取状态、缓存等资源

3. 可选：启用无头模式优化资源占用 #

如果不需要可视化Chrome窗口，开启无头模式不仅能节省系统资源，还能减少实例间的潜在冲突：

# 在初始化options时添加这一行（Chrome 112+推荐的新无头模式）
self.options.add_argument("--headless=new")

额外小提示：

• 爬取过程中如果遇到超时或异常，记得在try/finally块中调用driver.quit()，避免残留Chrome进程占用资源
• 如果需要频繁启动爬虫，可以考虑预创建几个固定的用户配置目录，比临时目录的启动速度更快

内容的提问来源于stack exchange，提问作者Jake