使用Selenium4长时间运行后Chrome自动关闭，如何优化提升爬取速度？

1 修正现有配置错误 #

• 你当前配置里的-disable-cache少了两个前导横杠，修正为--disable-cache，否则参数不生效
• 谨慎使用--disable-javascript参数：如果你的目标站点评论是动态加载（滚动加载/分页异步请求），禁用JS会导致评论根本无法渲染，是你后续找不到元素的核心原因之一，确认页面加载逻辑后再决定是否保留该参数
• 你当前开启了DevTools的Network监听还设置了100M的请求缓冲区，所有网络请求日志会持续堆积占用内存，如果你不需要抓包分析接口，直接删除所有DevTools相关代码；如果需要抓包，要定期清理网络日志，缩小缓冲区大小。

2 解决Chrome运行崩溃问题（内存泄漏优化） #

长时间运行Chrome崩溃90%是内存被占满导致的，可通过以下方式解决：

• 打开注释的--disable-dev-shm-usage参数：Linux环境下Chrome默认使用/dev/shm共享内存，容量不足就会直接崩溃，该参数会改用磁盘/tmp目录存储临时数据，大幅降低崩溃概率
• 打开注释的无头模式参数，换成Selenium4专属的新版无头配置--headless=new，无GUI渲染的情况下内存占用降低30%以上，运行速度也更快
• 新增参数：--disable-gpu、--disable-background-networking、--disable-sync、--disable-plugins，关闭所有无用的后台进程和功能，减少资源占用
• 定期清理缓存：每爬取10-20页内容，执行以下代码清理存储，避免内存堆积：

driver.manage().deleteAllCookies();
((JavascriptExecutor) driver).executeScript("window.localStorage.clear(); window.sessionStorage.clear();");

• 定期重建Driver实例：不要单实例一直运行，每运行30分钟/爬取50页就主动调用driver.quit()关闭现有实例，重新初始化ChromeDriver，从根源避免内存泄漏累积。

3 爬取逻辑优化，提升执行速度 #

• 替换所有硬等待Thread.sleep()为显式等待WebDriverWait，仅等待你需要的评论元素加载完成就执行下一步操作，砍掉无意义的等待时间
• 优先在父元素下查找子元素：先定位到评论列表的父容器，再在父容器下查找单条评论元素，减少全DOM遍历的开销
• 不需要完全禁用缓存：如果你爬取的站点静态资源（CSS、公共JS）不会频繁变动，删除禁用缓存的配置和DevTools的Network.setCacheDisabled(true)，开启缓存可以避免重复拉取静态资源，加载速度提升非常明显
• 可选的终极优化：如果能通过抓包拿到评论的后端接口，且接口参数没有复杂加密，直接用HTTP客户端（OkHttp/HttpClient）调用接口拿JSON数据，比Selenium渲染页面快10倍以上，完全不会有浏览器内存泄漏的问题。

4 错误兼容优化 #

• 找不到元素时增加重试机制，同一页面最多重试3次，重试不成功就跳过该页记录日志，不要卡住程序
• 增加超时检测：如果Driver超过5分钟没有返回操作结果，直接销毁实例重建，从上次中断的位置继续爬取。

内容的提问来源于stack exchange，提问作者ehalid