使用Selenium提取数据返回空列表，无报错未获预期结果

以下是几个核心排查方向和对应解决方法：

• 动态加载元素未等待：页面元素是异步渲染的，代码执行时元素还没加载完成。改用显式等待确保元素存在：

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  from selenium.webdriver.common.by import By
  
  # 最长等待10秒，直到目标元素全部加载
  target_elements = WebDriverWait(driver, 10).until(
      EC.presence_of_all_elements_located((By.XPATH, "你的目标XPath"))
  )
  

• 元素处于iframe中：如果目标元素嵌套在iframe里，当前driver上下文无法直接访问。先切换到对应iframe再查找：

  # 定位iframe（可根据id、name或其他属性）
  target_iframe = driver.find_element(By.ID, "iframe的ID")
  driver.switch_to.frame(target_iframe)
  # 此时再执行元素查找
  target_elements = driver.find_elements(By.XPATH, "你的目标XPath")
  # 操作完成后切回主文档
  driver.switch_to.default_content()
  

• XPath定位失效：避免使用绝对XPath（如/html/body/div...），页面结构变动会直接导致定位失败。改用基于元素属性的相对路径，比如：

  //div[contains(@class, 'target-content')]/a[@title='目标标题']
  

• 元素在Shadow DOM内：部分现代网站用Shadow DOM封装元素，常规查找方法无法穿透。通过JS脚本获取：

  target_elements = driver.execute_script("""
      // 先获取宿主元素，再访问其shadowRoot内的目标元素
      return document.querySelector('.host-element').shadowRoot.querySelectorAll('你的目标选择器');
  """)
  

• 页面状态未同步：如果代码执行过程中页面发生跳转/刷新，driver未同步到新页面，导致查找旧页面的不存在元素。可在跳转后等待页面加载完成，或验证当前URL是否正确。

内容的提问来源于stack exchange，提问作者Chance Jennings