关于Sidekiq多线程环境下Selenium WebDriver的使用问题

嘿，这个问题我之前帮不少做爬虫的朋友排查过，咱们一步步拆解下可能的原因和解决方案～

你遇到的Selenium::WebDriver::Error::WebDriverError: unable to connect to chromedriver错误，本质是ChromeDriver和Chrome实例之间的本地连接没建立起来。在Sidekiq多线程并发环境里，常见诱因有这几个：

1. 残留的Chrome进程耗尽资源 #

很多人容易犯的错误是：任务结束只调用browser.close()关闭标签页，但没调用browser.quit()彻底终止Chrome进程。这些残留进程会占用端口、内存和文件句柄，时间久了就会导致新的Chrome实例无法启动。

• 解决方案：
  • 用begin/ensure块保证每个任务结束后都彻底销毁浏览器实例：

    begin
      browser = Watir::Browser.new :chrome
      # 你的数据抓取逻辑
    ensure
      browser.quit unless browser.nil? # 不管任务成功失败，都退出浏览器
    end
    

  • 监控系统资源：如果6个并发导致CPU/内存跑满，适当降低Sidekiq的concurrency配置（比如降到4），给系统留足余量。

2. ChromeDriver与Chrome版本不匹配 #

这是高频踩坑点！ChromeDriver的版本必须和你环境里安装的Chrome主版本完全对应（比如Chrome是118.x，ChromeDriver也要是118.x）。如果Sidekiq运行环境里Chrome自动更新了，但ChromeDriver没同步升级，就会直接出现连接失败。

• 解决方案：
  • 用webdrivers gem自动管理版本：在Gemfile里添加gem 'webdrivers'，它会根据当前Chrome的版本自动下载匹配的ChromeDriver，完全不用手动管理版本，省心很多。

3. Chrome启动参数引发的冲突 #

多线程环境下，Chrome默认的启动参数可能会出现端口争抢、资源不足的问题，需要添加一些隔离和优化参数：

• 推荐的参数配置（亲测有效）：

  browser = Watir::Browser.new :chrome, options: {
    args: [
      '--headless=new', # 无头模式，大幅节省资源
      '--no-sandbox', # 避免服务器/容器环境下的权限问题
      '--disable-dev-shm-usage', # 解决Linux环境下/dev/shm空间不足的问题
      '--remote-debugging-port=0', # 让Chrome自动分配空闲端口，避免冲突
      '--disable-gpu', # 无头模式下不需要GPU，禁用减少资源占用
      '--disable-extensions' # 禁用扩展，避免不必要的干扰
    ]
  }
  

  重点说下--remote-debugging-port=0：如果不配置这个，多个Chrome实例可能会争抢同一个调试端口，直接导致连接失败，这个参数在多线程环境里几乎是必须的。

4. 线程安全问题：共享浏览器实例 #

虽然Watir本身是线程安全的，但如果你的代码里用了全局变量或者共享的浏览器实例，多个线程同时操作就会导致冲突。

• 错误示例（绝对不要这么做）：

  # 全局浏览器实例，多线程下必出问题！
  $shared_browser = Watir::Browser.new :chrome
  
  class ScrapeWorker
    include Sidekiq::Worker
    def perform
      $shared_browser.goto('example.com')
      # ...
    end
  end
  

• 正确做法：每个Sidekiq任务内部独立初始化浏览器实例，任务结束后销毁，完全隔离不同任务的环境。

5. 服务器/容器环境的限制 #

如果你的Sidekiq跑在Docker或者云服务器上，可能还有这些隐藏坑：

• 容器内存/CPU配额不够：Chrome是资源大户，每个实例至少需要500M左右内存，配额不够会直接启动失败

• 缺少系统依赖：Chrome需要一些基础库（比如libnss3、字体文件），没有的话会启动异常

• 防火墙/SELinux阻止本地连接：极少数情况下，安全策略会阻止ChromeDriver和Chrome的本地通信

• 解决方案：

  • 给容器分配足够资源：比如每个Sidekiq进程配2G内存，并发数设为3-4
  • 在Docker镜像里安装依赖（以Debian/Ubuntu为例）：

    apt-get update && apt-get install -y chromium chromium-driver libnss3 fonts-liberation
    

我建议你先从彻底关闭浏览器实例和版本匹配这两个最常见的点入手排查，再逐步调整启动参数和并发数，应该能解决这个问题。

内容的提问来源于stack exchange，提问作者user3014317