XPath选取html一级子元素结果异常，寻求问题排查帮助

页面HTML结构 #

<!DOCTYPE HTML>
<html>
    <body><child></child></body>
    <div></div>
    <div><child></child></div>
    <script><child></child></script>
    <iframe></iframe>
    <div></div>
</html>

当前实现代码 #

XPath定位代码 #

webDriver.findElements(By.xpath("//html/*[not(*)]"))

页面等待函数 #

public void waitForPageLoad() {
    Wait<WebDriver> wait = new WebDriverWait(webDriver, Duration.of(30, ChronoUnit.SECONDS));
    wait.until(new Function<WebDriver, Boolean>() {
        public Boolean apply(WebDriver driver) {
            System.out.println("Current Window State       : "
                + String.valueOf(((JavascriptExecutor) driver).executeScript("return document.readyState")));
            return String
                .valueOf(((JavascriptExecutor) driver).executeScript("return document.readyState"))
                .equals("complete");
        }
    });
}

问题现象 #

执行后仅获取到第一个<div>和<iframe>标签，无法得到预期的所有HTML直接子元素（包括<body>、带子元素的<div>、<script>等）。页面顶层无shadow root，仅body后代元素内存在shadow root，尝试多种页面等待方式仍未解决。

排查建议 #

1. 修正XPath逻辑：当前XPath//html/*[not(*)]的含义是HTML的直接子元素中没有子元素的节点，和获取所有HTML直接子元素的需求完全不符。正确的XPath应该是//html/*，直接匹配HTML下所有直接子节点。
2. 添加目标元素显式等待：即使document.readyState为complete，部分动态插入的HTML子元素可能仍未加载完成。可以针对目标元素单独添加等待：

   wait.until(ExpectedConditions.presenceOfElementLocated(By.xpath("//html/body")));
   wait.until(ExpectedConditions.presenceOfElementLocated(By.xpath("//html/script")));
   

3. 确认主页面上下文：页面中的<iframe>可能导致WebDriver上下文切换，先切换回主页面再执行定位：

   webDriver.switchTo().defaultContent();
   

4. 用JavaScript直接获取：如果XPath解析存在潜在问题，可通过JS直接获取HTML子元素：

   List<WebElement> htmlChildren = (List<WebElement>) ((JavascriptExecutor) webDriver)
       .executeScript("return Array.from(document.documentElement.children);");
   

内容的提问来源于stack exchange，提问作者devin