如何使用Java版Selenium获取Shadow Root内的网页元素信息？

当然可以搞定这个问题！我之前做网页抓取的时候也被Shadow Root卡过好一阵，其实Selenium有几种靠谱的方法能穿透Shadow Root获取里面的元素，给你详细说说：

方法1：用Selenium 4原生API（最推荐） #

从Selenium 4开始，官方已经原生支持Shadow DOM操作了，不用再靠JS脚本绕弯子。步骤很简单：

1. 先找到包含Shadow Root的宿主元素（比如某个自定义标签或者特定div）
2. 调用getShadowRoot()方法获取Shadow Root对象
3. 在Shadow Root里用普通的findElement/findElements方法查找元素

举个Java代码示例：

// 先定位Shadow Root的宿主元素
WebElement hostElement = driver.findElement(By.cssSelector("你的宿主元素选择器"));
// 获取Shadow Root对象
ShadowRoot shadowRoot = hostElement.getShadowRoot();
// 现在就能在Shadow Root范围内查找目标元素了
WebElement targetElement = shadowRoot.findElement(By.cssSelector("目标元素选择器"));
String elementContent = targetElement.getText();

方法2：执行JavaScript脚本（兼容旧版Selenium） #

如果你还在使用Selenium 3或者更早的版本，就只能通过执行JS脚本来获取Shadow Root里的元素。核心思路是用JS直接访问DOM的shadowRoot属性，再定位元素：

Java代码示例：

// 编写JS脚本，穿透Shadow Root获取目标元素
String script = "return document.querySelector('你的宿主元素选择器').shadowRoot.querySelector('目标元素选择器');";
WebElement targetElement = (WebElement) ((JavascriptExecutor) driver).executeScript(script);
// 获取元素信息
String elementContent = targetElement.getText();

关键注意点 #

• 先确认Shadow Root类型：如果HTML里标记的是shadowroot="closed"，那这种Shadow Root是网站刻意限制访问的，确实没法获取里面的元素；但大部分公开网站用的都是shadowroot="open"，这种就可以用上面的方法正常访问。
• 你之前获取HTML返回空数组，就是因为普通的findElements方法无法穿透Shadow Root，必须先主动获取Shadow Root对象，再在其范围内查找元素。

内容的提问来源于stack exchange，提问作者C.Aglar