使用Selenium的find_elements_by_xpath爬取表格无输出如何解决？

核心原因 #

1. 元素查找时机错误：driver.get()仅等待页面初始HTML加载完成，目标表格是ASP.NET后端渲染后生成的，你执行查找代码时表格还没渲染到DOM里，find_elements_by_xpath返回空列表，循环自然不会执行，所以没有任何输出。
2. XPath定位错误：查看页面DOM结构可知，id="MainContent_gvFacilityList"的元素本身就是<table>标签，你写的路径多了一层/table，导致完全匹配不到任何元素。
3. 如果你使用的是Selenium 4+版本，find_elements_by_xpath方法已被官方废弃，也可能导致查找失效。

具体解决步骤 #

1. 导入必要依赖 #

首先添加显式等待、元素定位相关的依赖包：

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

2. 修正元素查找逻辑 #

添加显式等待，等表格加载完成后再提取数据，同时修正XPath：

driver = webdriver.Chrome(ChromeDriverManager().install())
driver.get('http://carefacility.doe.louisiana.gov/covid19/List.aspx?parish=Orleans')

# 最多等待10秒，直到表格加载出现在DOM中
wait = WebDriverWait(driver, 10)
table = wait.until(EC.presence_of_element_located((By.ID, 'MainContent_gvFacilityList')))

# 直接从table下找tr，可按需过滤表头、分页导航行
for tr in table.find_elements(By.XPATH, './tbody/tr'):
    print("hi!")
    tds = tr.find_elements(By.TAG_NAME, 'td')
    # 排除底部分页导航行，分页行的td colspan通常远大于普通数据行
    if len(tds) > 1:
        print([td.text for td in tds])

3. 分页跳转注意事项 #

执行__doPostBack分页跳转后，需要等待表格刷新完成再执行爬取逻辑，避免拿到上一页的缓存数据，可以通过判断当前页码变化、或者等待表格元素重新加载后再操作。

内容的提问来源于stack exchange，提问作者user3710004