求职网站爬取：如何在Selenium中获取当前聚焦标签页句柄？

一、解决标签页句柄映射问题 #

你的核心问题是getWindowHandle()未返回当前聚焦的新标签页句柄，这是因为Selenium驱动的上下文不会自动跟随浏览器焦点切换。结合你对顺序的严格要求，推荐通过对比点击前后的窗口句柄集合精准获取新标签页句柄，步骤如下：

1. 修正Ctrl+点击的实现 #

用Selenium的Actions类正确模拟Ctrl+点击，避免因模拟方式错误导致新标签页未正常打开：

private void ctrlClickElement(WebElement element) {
    Actions actions = new Actions(webDriver);
    actions.keyDown(Keys.CONTROL).click(element).keyUp(Keys.CONTROL).perform();
}

2. 修改映射逻辑，精准获取新句柄 #

用显式等待替代Thread.sleep，通过对比点击前后的句柄集合提取新增标签页句柄，保证顺序和映射准确性：

private void openAndMapJobTabs(WebElement jobList) {
    List<WebElement> jobRowsSelector = jobList.findElements(By.tagName("article"));
    WebDriverWait wait = new WebDriverWait(webDriver, 10); // 可根据网站加载速度调整超时时间
    
    for (WebElement jobRow : jobRowsSelector) {
        try {
            // 记录点击前的所有窗口句柄
            Set<String> oldHandles = new HashSet<>(webDriver.getWindowHandles());
            
            // 执行Ctrl+点击打开新标签页
            ctrlClickElement(jobRow);
            
            // 等待新标签页加载完成（窗口数量增加）
            wait.until(ExpectedConditions.numberOfWindowsToBe(oldHandles.size() + 1));
            
            // 筛选出新增的标签页句柄
            String newTabHandle = webDriver.getWindowHandles().stream()
                    .filter(handle -> !oldHandles.contains(handle))
                    .findFirst()
                    .orElseThrow(() -> new RuntimeException("Failed to locate new tab handle"));
            
            // 完成元素与标签页的映射
            webElementToTabMapper.put(jobRow, newTabHandle);
            
            // 切回主标签页，继续处理下一个元素
            webDriver.switchTo().window(websiteTabHandle);
            
        } catch (Exception e) {
            logger.info("Could Not Click Open Job Tab: " + e.getMessage());
        }
    }
}

该方案优势：

• 若部分元素点击失败（未打开新标签），会直接进入异常处理，不会打乱后续元素的映射顺序
• 显式等待比固定休眠更可靠，避免因网络延迟导致的句柄获取失败

二、高效爬虫工具推荐 #

若爬取规模较大，或目标求职网站无复杂JS渲染，推荐以下工具替代Selenium：

• Scrapy：Python异步爬虫框架，直接发送HTTP请求解析页面，性能远高于Selenium，适合大规模数据爬取，内置请求头伪装、代理池集成等反爬处理能力
• Playwright：微软推出的现代化自动化工具，API比Selenium更简洁，支持多浏览器，自动等待元素加载，处理新标签页的逻辑更直观，性能优于Selenium
• Requests + BeautifulSoup：针对静态页面的轻量组合，无需启动浏览器，速度最快，适合无JS渲染的求职网站

内容的提问来源于stack exchange，提问作者Ayush Tiwari