如何用Python的Selenium抓取动态网页中的标题内容？

• 先检查目标h1元素是否嵌套在iframe内：打开浏览器开发者工具（F12）定位h1，查看它的DOM层级是否包含iframe标签。如果存在，需要先切换到对应iframe再执行定位操作，示例代码：

  # 先找到iframe元素（可通过ID、XPath等定位）
  iframe = driver.find_element(By.ID, "iframe-id")
  # 切换到iframe
  driver.switch_to.frame(iframe)
  # 此时再定位h1
  title = driver.find_element(By.TAG_NAME, "h1").text
  # 操作完成后切回主文档
  driver.switch_to.default_content()
  

• 改用显式等待确保元素加载完成：动态页面的h1可能是异步渲染的，直接定位会因元素未加载而失败。使用Selenium的显式等待等待元素出现，示例代码：

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  
  # 等待10秒，直到h1元素出现
  title_element = WebDriverWait(driver, 10).until(
      EC.presence_of_element_located((By.TAG_NAME, "h1"))
  )
  title = title_element.text
  

• 更换定位方式：如果By.TAG_NAME无效，尝试用XPath或CSS选择器定位。比如根据h1的父元素属性、自身class或文本关键词定位：

  # 通过父元素class定位（需根据实际页面结构调整）
  title = driver.find_element(By.XPATH, '//div[contains(@class, "product-header")]/h1').text
  # 通过文本关键词定位（替换成目标标题的部分关键词）
  title = driver.find_element(By.XPATH, '//h1[contains(text(), "Fry Pan")]').text
  

• 检查元素是否在Shadow DOM中：如果h1位于Shadow DOM内，需要先获取对应的Shadow Root再进行定位，示例代码：

  # 找到包含Shadow Root的宿主元素（需替换为实际选择器）
  host_element = driver.find_element(By.CSS_SELECTOR, "shadow-host-selector")
  # 获取Shadow Root
  shadow_root = host_element.shadow_root
  # 在Shadow Root内定位h1
  title = shadow_root.find_element(By.TAG_NAME, "h1").text
  

• 验证页面源码：通过print(driver.page_source)输出当前页面的HTML源码，搜索是否存在h1标签，确认元素确实已加载到页面中，排除页面跳转、加载失败等问题。

内容的提问来源于stack exchange，提问作者bsaoptima