通过Selenium运行多Firefox实例时Geckodriver意外退出求助

我之前在做类似的大规模浏览器集群项目时，也碰到过几乎一模一样的问题——前几十个实例启动顺畅，超过阈值后就开始随机报错。结合你的环境（selenium v3.8.1、Firefox 57.0.1、geckodriver 0.19.1、Ubuntu），大概率是资源瓶颈+老版本兼容性导致的，给你几个落地性强的解决方向：

1. 先解决系统资源限制问题 #

每个无头Firefox实例即使没有界面，也会占用几百MB内存+若干文件描述符，50-60个实例已经接近普通Ubuntu服务器的默认资源上限了：

• 实时监控资源使用：启动实例时用htop看CPU/内存占用，用lsof -p <firefox-pid>看单个实例打开的文件数，确认是不是内存耗尽或文件描述符不够。
• 临时调高文件描述符上限：执行ulimit -n 65535（当前会话有效），如果问题缓解，再永久修改配置：编辑/etc/security/limits.conf，添加两行：

  * soft nofile 65535
  * hard nofile 65535
  

  重启系统后生效。
• 解决/dev/shm内存不足：Ubuntu默认的/dev/shm大小有限，无头Firefox会用到这块内存，添加启动参数--disable-dev-shm-usage强制浏览器用磁盘而非共享内存。

2. 优化Firefox启动参数，压缩资源占用 #

给每个实例添加轻量化配置，能显著降低单实例资源消耗，示例代码：

from selenium import webdriver
from selenium.webdriver.firefox.options import Options

def create_lightweight_firefox():
    options = Options()
    options.add_argument('--headless')
    options.add_argument('--no-sandbox')  # Ubuntu下避免权限阻塞
    options.add_argument('--disable-gpu')
    options.add_argument('--disable-dev-shm-usage')
    options.add_argument('--disable-extensions')
    options.add_argument('--disable-plugins')
    # 禁用所有缓存
    options.set_preference('browser.cache.disk.enable', False)
    options.set_preference('browser.cache.memory.enable', False)
    options.set_preference('network.http.use-cache', False)
    # 关闭不必要的后台服务
    options.set_preference('media.peerconnection.enabled', False)
    options.set_preference('dom.ipc.plugins.enabled.libflashplayer.so', 'false')
    
    return webdriver.Firefox(options=options, executable_path='/path/to/geckodriver')

3. 升级依赖版本（关键！） #

你用的selenium、Firefox、geckodriver版本都太老了——Firefox 57是2017年的版本，对无头模式的资源管理和稳定性极差，新版本做了大量优化：

• 把Firefox升级到ESR长期支持版（比如91.x或102.x），兼容性和稳定性远优于老版本；
• 同步升级geckodriver到匹配Firefox版本的最新版；
• selenium至少升级到3.x的最后稳定版（3.141.0），新版本对错误处理和资源回收更完善。

4. 优化实例启动策略 #

• 动态调整启动批次：不要固定每次启动10-20个，改成先检查系统空闲内存（比如用free -m解析剩余内存），如果剩余内存不足2GB就暂停启动，等已有实例释放资源后再继续；
• 添加失败重试机制：捕获WebDriverException异常，每次失败后等待3-5秒重试（最多3次），避免偶然的资源波动导致启动失败；
• 严格清理残留进程：确保每个实例退出时调用driver.quit()，定期用pkill -f firefox清理僵尸进程（注意不要误杀其他服务）。

内容的提问来源于stack exchange，提问作者arni