Selenium自动化批量更新记录时出现内存不足错误如何解决

问题原因分析 #

• 浏览器资源未主动释放：Selenium脚本执行过程中跳转的6-7个页面的缓存、Cookie、DOM资源、JS执行上下文不会在跳转后自动销毁，长时间运行下累计占用内存持续上涨，最终触发OOM。
• 浏览器默认配置冗余：默认启动的Edge/Chrome会加载扩展、GPU渲染、后台同步、广告插件等非必需功能，额外占用大量内存。
• WebDriver实例长时间复用：如果单例WebDriver持续处理大量批量任务，驱动和浏览器的交互会话残留会不断累积，无法被系统自动回收。
• 目标页面存在JS内存泄漏：部分前端页面存在未清理的定时器、事件监听、闭包引用等问题，多次加载后内存占用会线性增长。

用户提供的错误截图如下：

可行解决思路 #

1. 优化浏览器启动参数 #

启动WebDriver时添加以下配置，削减不必要的内存开销：

EdgeOptions options = new EdgeOptions();
// 关闭沙箱模式
options.addArguments("--no-sandbox");
// 禁用GPU加速
options.addArguments("--disable-gpu");
// 禁用所有扩展
options.addArguments("--disable-extensions");
// 启用无痕模式，避免缓存持久化累积
options.addArguments("--incognito");
// 禁用共享内存，避免Linux环境下内存占用受限
options.addArguments("--disable-dev-shm-usage");
// 无需加载图片时可关闭，大幅降低内存占用
options.addArguments("--blink-settings=imagesEnabled=false");
// 给V8引擎设置更大的内存上限，单位为MB
options.addArguments("--js-flags=--max_old_space_size=4096");

2. 脚本层面主动释放资源 #

• 每次页面跳转完成后，执行脚本清理前端存储：

// 清除Cookie
driver.manage().deleteAllCookies();
// 清除本地存储与会话存储
JavascriptExecutor js = (JavascriptExecutor) driver;
js.executeScript("window.localStorage.clear();window.sessionStorage.clear();");

• 仅保留当前活动标签页，关闭多余标签页：

String currentHandle = driver.getWindowHandle();
for (String handle : driver.getWindowHandles()) {
    if (!handle.equals(currentHandle)) {
        driver.switchTo().window(handle).close();
    }
}
driver.switchTo().window(currentHandle);

• 对批量任务分片，每处理N条任务（可根据测试调整，比如100条）就主动调用driver.quit()销毁当前浏览器实例，重新初始化新的WebDriver实例执行后续任务。

3. 依赖版本升级 #

将Selenium依赖、Edge/Chrome浏览器及对应版本的WebDriver驱动升级到最新稳定版，旧版本的Selenium驱动存在多个已知的内存泄漏问题，新版本已完成修复。

4. 兜底优化方案 #

如果以上调整后仍偶发OOM，可以调整系统虚拟内存大小作为兜底，Windows环境可将虚拟内存调整为物理内存的1.5-2倍，避免物理内存占满后直接崩溃。

内容的提问来源于stack exchange，提问作者Deepak Kumar Sharma