Java Selenium多线程爬取遇No such execution context异常求助

我使用Java 17.0.7 + Selenium 4.19.1编写多线程代码，实现3个并行线程分别打开浏览器访问Rozetka网站，搜索指定商品并抓取标题和价格。但代码稳定性极差：有时运行完全正常，有时部分线程失败——失败时部分浏览器窗口能正常解析并关闭，部分窗口加载页面后无法完成爬取或关闭，抛出No such execution context异常，偶尔伴随StaleElementReferenceException异常。

已尝试的排查手段：

• 引入显式等待优化元素定位
• 改用JavaScript执行器操作元素
• 切换Chrome/Firefox驱动版本
• 搜索相关问题及AI工具排查

均未解决问题，希望能指出代码中的潜在问题。

1. WebDriver实例线程安全问题 #

Selenium的WebDriver实例本身不是线程安全的，若多个线程共享同一个实例，会直接导致上下文混乱，触发No such execution context异常。

• 修复：每个线程必须创建独立的WebDriver实例，线程启动时初始化，结束时销毁。示例：

public class RozetkaCrawler implements Runnable {
    private WebDriver driver;

    @Override
    public void run() {
        // 每个线程独立初始化Driver
        driver = new ChromeDriver();
        try {
            // 爬取逻辑
            driver.get("https://rozetka.com.ua/");
            // ... 搜索、抓取操作
        } finally {
            // 确保线程结束时关闭Driver
            if (driver != null) {
                driver.quit();
            }
        }
    }
}

2. 浏览器上下文未隔离 #

即使每个线程有独立Driver，若浏览器启动时未配置独立的用户数据目录，可能导致缓存、Cookie共享，干扰页面执行上下文。

• 修复：为每个Driver实例配置独立的用户数据目录（以Chrome为例）：

ChromeOptions options = new ChromeOptions();
options.addArguments("--user-data-dir=" + System.getProperty("java.io.tmpdir") + "/selenium_" + Thread.currentThread().getId());
driver = new ChromeDriver(options);

3. 显式等待未绑定当前线程Driver #

若使用全局的WebDriverWait实例，可能绑定到错误的线程上下文，导致等待逻辑失效，进而引发元素操作异常。

• 修复：每个线程内部创建专属的WebDriverWait：

WebDriverWait wait = new WebDriverWait(driver, Duration.ofSeconds(10));
wait.until(ExpectedConditions.visibilityOfElementLocated(By.id("search_input")));

4. 元素引用未即时更新 #

StaleElementReferenceException通常是因为元素所在页面已刷新或跳转，之前缓存的元素引用失效。

• 修复：每次操作元素前重新定位，避免复用旧的元素对象：

// 错误方式：复用旧元素
// WebElement searchBox = driver.findElement(By.id("search_input"));

// 正确方式：每次操作前重新定位
wait.until(ExpectedConditions.visibilityOfElementLocated(By.id("search_input"))).sendKeys("指定商品");

5. Driver资源未强制释放 #

若线程因异常提前退出，未执行driver.quit()，会导致Driver进程残留，占用系统资源并干扰后续线程的上下文。

• 修复：必须将driver.quit()放在finally块中，确保无论是否异常都会执行。

内容的提问来源于stack exchange，提问作者Clinsen