Selenium & BeautifulSoup无法定位#shadow_root内的Fields表格元素

问题根源 #

Salesforce开发者文档的内容通过Shadow DOM渲染，常规Selenium元素定位方法无法直接穿透Shadow Root访问内部表格元素，这是触发NoSuchElementException的核心原因。

具体解决步骤 #

1. 定位包含目标表格的Shadow Host（页面中的自定义元素，如doc-xml-content）
2. 通过JS脚本获取该元素的Shadow Root对象
3. 基于Shadow Root定位目标Fields表格

代码实现示例 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get('https://developer.salesforce.com/docs/atlas.en-us.netzero_cloud_dev_guide.meta/netzero_cloud_dev_guide/sforce_api_objects_airtravelemssnfctr.htm')

# 等待Shadow Host加载完成
shadow_host = WebDriverWait(driver, 20).until(
    EC.presence_of_element_located((By.TAG_NAME, "doc-xml-content"))
)

# 获取Shadow Root（Selenium原生方法无法直接访问，需借助JS）
shadow_root = driver.execute_script("return arguments[0].shadowRoot", shadow_host)

# 通过Shadow Root定位Fields表格
fields_table = shadow_root.find_element(By.CSS_SELECTOR, "table.featureTable.sort_table")

# 示例：提取表格行数据
rows = fields_table.find_elements(By.TAG_NAME, "tr")
for row in rows:
    cols = row.find_elements(By.TAG_NAME, "td")
    print([col.text.strip() for col in cols if col.text])

driver.quit()

补充说明 #

• 若doc-xml-content不是最内层Shadow Host，可通过浏览器开发者工具检查页面结构，找到直接包裹表格的自定义标签（如doc-content）替换即可
• 必须使用execute_script获取Shadow Root，Selenium原生API不支持直接操作Shadow DOM
• 延长WebDriverWait超时时间，避免因页面资源加载缓慢导致元素定位失败

内容的提问来源于stack exchange，提问作者CalGrace