使用Java WebDriver抓取网页死链时无法获取全部链接如何解决

针对「页面实际有210个链接，但初始查找仅能获取2个」的问题，核心原因和对应修复方案如下：

• 动态懒加载未触发
  绝大多数现代网页采用懒加载机制，初始页面加载完成时，仅首屏可视区域的锚点标签会被写入DOM，剩余需要滚动触发渲染的链接不会生成，直接执行查找自然只能拿到极少量初始链接。
  修复操作：
  1. 打开目标页面后，逐次从页面顶部滚动到底部，每次滚动后等待1-2秒让新内容完成渲染，直到页面的总滚动高度不再变化，确认所有动态生成的a标签全部加载到DOM后，再执行链接查找操作
  2. 不要在页面刚触发onload事件时就立刻抓元素，给前端脚本的渲染逻辑留足执行时间，可搭配显式等待确认页面核心内容渲染完成
• 嵌套iframe上下文未切换
  WebDriver默认仅在当前激活的文档上下文（一般是主页面文档）中查找元素，如果大量链接嵌套在iframe、frame标签内部，默认查找逻辑完全无法检索到这部分元素，就会出现主文档仅存2个链接、总查找量远低于实际值的情况。
  修复操作：遍历页面下所有的iframe节点，依次切换每个iframe的执行上下文，在对应上下文内单独查找a标签，把获取到的链接合并到总检测列表，所有iframe遍历完成后再切回主文档上下文。
• 原有代码存在逻辑隐患
  现有代码直接将WebElement对象带入后续的网络请求循环，过程中3秒的固定等待、页面自动重绘都可能触发「元素引用失效（StaleElementReferenceException）」，导致循环提前中断，进一步减少实际检测到的链接数量。
  优化调整：
  1. 查找元素后第一时间把所有a标签的href属性提取为String类型的普通列表，不要把WebElement对象带入后续请求逻辑，彻底隔离DOM变动对遍历过程的影响
  2. 移除循环内无意义的3秒固定等待，通过配置HttpURLConnection的连接、读取超时参数替代固定sleep，既压缩检测时长，也避免长时间等待触发的页面会话过期、自动刷新问题
  3. 提取href时过滤空值、javascript伪协议等无效链接，避免后续创建URL对象时抛出异常导致程序中断

优化后参考实现 #

// 滚动触发全量懒加载
JavascriptExecutor jsExecutor = (JavascriptExecutor) driver;
long lastScrollHeight = (Long) jsExecutor.executeScript("return document.body.scrollHeight");
while (true) {
    jsExecutor.executeScript("window.scrollTo(0, document.body.scrollHeight);");
    Thread.sleep(2000);
    long currentScrollHeight = (Long) jsExecutor.executeScript("return document.body.scrollHeight");
    if (currentScrollHeight == lastScrollHeight) break;
    lastScrollHeight = currentScrollHeight;
}

List<String> validLinkList = new ArrayList<>();
// 收集主文档内的链接
driver.switchTo().defaultContent();
List<WebElement> mainAnchors = driver.findElements(By.tagName("a"));
for (WebElement anchor : mainAnchors) {
    String href = anchor.getAttribute("href");
    if (href != null && href.startsWith("http")) {
        validLinkList.add(href);
    }
}
// 收集所有iframe内的链接
List<WebElement> iframeNodes = driver.findElements(By.tagName("iframe"));
for (WebElement iframe : iframeNodes) {
    driver.switchTo().frame(iframe);
    List<WebElement> frameAnchors = driver.findElements(By.tagName("a"));
    for (WebElement anchor : frameAnchors) {
        String href = anchor.getAttribute("href");
        if (href != null && href.startsWith("http")) {
            validLinkList.add(href);
        }
    }
    driver.switchTo().defaultContent();
}

// 执行死链检测
System.out.println("Total detected links: " + validLinkList.size());
for (String urlStr : validLinkList) {
    try {
        URL targetUrl = new URL(urlStr);
        HttpURLConnection conn = (HttpURLConnection) targetUrl.openConnection();
        conn.setConnectTimeout(5000);
        conn.setReadTimeout(5000);
        conn.connect();
        int responseCode = conn.getResponseCode();
        if (responseCode >= 400) {
            System.out.println(responseCode + " broken link: " + urlStr);
        } else {
            System.out.println(responseCode + " valid link: " + urlStr);
        }
    } catch (Exception e) {
        System.out.println("invalid link: " + urlStr + ", error: " + e.getMessage());
    }
}

内容的提问来源于stack exchange，提问作者user3069691