使用Python Selenium遍历HTML表格<tr>时无法捕获数据的问题求助

问题原因 #

你的代码逻辑本身能遍历到<thead>内的所有<tr>，但存在两个容易被忽略的点：

1. 表头行使用<th>标签，数据行使用<td>标签，原代码仅提取<td>文本，导致表头行的单元格列表为空，容易误以为只捕获了表头；
2. 未等待表格元素完全加载，可能导致数据行还未渲染就被遍历，出现获取不到内容的情况。

修正方案 #

方案1：区分表头与数据行，分别提取

先等待表格元素加载完成，再分别提取表头的<th>内容和数据行的<td>内容：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 显式等待thead加载完成，确保所有行都渲染完毕
thead = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.XPATH, "//thead[@class='sticky-thead']"))
)

# 获取所有行元素
all_rows = thead.find_elements(By.XPATH, ".//tr")

# 提取表头（第一行的<th>标签内容）
header_cells = all_rows[0].find_elements(By.XPATH, ".//th")
headers = [cell.text for cell in header_cells]
print("表头:", headers)

# 提取数据行（从第二行开始的<td>标签内容）
for row_idx, row in enumerate(all_rows[1:], start=1):
    data_cells = row.find_elements(By.XPATH, ".//td")
    row_data = [cell.text for cell in data_cells]
    print(f"数据行 {row_idx}:", row_data)

方案2：统一提取所有单元格（兼容和）

如果不需要区分表头和数据行，直接提取每行内的所有<th>和<td>内容：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

thead = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.XPATH, "//thead[@class='sticky-thead']"))
)

for row in thead.find_elements(By.XPATH, ".//tr"):
    # 同时匹配当前行内的<th>和<td>标签
    cells = row.find_elements(By.XPATH, ".//th | .//td")
    cell_texts = [cell.text for cell in cells]
    print(cell_texts)

关键说明 #

• 显式等待WebDriverWait能确保页面元素完全渲染后再进行操作，避免因元素未加载导致的空内容问题；
• 你的HTML结构中数据行被放在<thead>内（不符合标准HTML规范，通常数据行应在<tbody>），但代码定位逻辑无需调整，只需确保遍历所有<tr>即可。

内容的提问来源于stack exchange，提问作者MRA