无法通过XPATH提取文本，代码无报错但返回空值求协助

问题描述 #

代码此前正常运行多日，如今突然无法通过XPATH获取文本，无报错但输出为空。已尝试更换多种XPATH写法，代码处于循环迭代中。

示例代码 #

url = 'https://eventos.congresse.me/nutcon/edicoes/528-ii-nutcon---2-edicao/anais'
driver.get(url)
title = driver.find_element(By.XPATH, /html/body/main/div/div/ul[1]/li[36]/a/h4).text
print(title)

排查与解决步骤 #

• 验证元素本身的文本存在性
  打开浏览器F12开发者工具，定位到目标h4元素，在Elements面板查看该元素的innerText或textContent是否有实际内容。可能页面结构变动后，该位置元素本来就为空，或者文本被动态隐藏。

• 添加显式等待确保元素加载完成
  页面加载速度变化或动态渲染可能导致元素还未完全渲染就被获取，替换为显式等待：

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  
  wait = WebDriverWait(driver, 10)
  # 等待元素可见，同时确保元素包含文本
  title_element = wait.until(EC.visibility_of_element_located((By.XPATH, "//ul[1]/li[36]/a/h4")))
  # 优先尝试text属性，若为空则用textContent
  title = title_element.text or title_element.get_attribute("textContent")
  

• 废弃绝对XPATH，改用相对定位
  绝对XPATH（从/html开始）极易因页面微小变动失效，换成相对XPATH，比如：

  //div[contains(@class, 'anais-list')]/ul/li[36]/a/h4  # 根据父元素类名定位
  //li[position()=36]/a/h4[normalize-space(text())!='']  # 过滤空文本元素
  

• 检查iframe/shadow DOM嵌套
  如果目标元素在iframe内，需先切换iframe：

  iframe = driver.find_element(By.TAG_NAME, 'iframe')
  driver.switch_to.frame(iframe)
  # 之后再定位元素
  

  若在shadow DOM中，需获取shadow root后再查询元素。

• 排查反爬或动态文本渲染
  网站可能新增反爬策略，比如用JS动态注入文本、字体替换等。可尝试获取元素的innerHTML，或查看网络请求中的原始数据（比如XHR、Fetch请求），直接从接口提取内容。

• 循环迭代中的索引校验
  代码在循环中，若li[36]是固定索引，需确认循环中该位置的元素是否存在有效文本；若为动态索引，检查变量是否正确，避免越界或指向空元素。

内容的提问来源于stack exchange，提问作者Frederico Barbosa