Selenium WebDriver find_elements无法定位空<th>元素问题咨询

问题场景 #

使用Python搭配Selenium WebDriver（ChromeDriver）定位表格<thead>中的<th>元素时，DOM中明确存在4个<th>，但find_elements方法仅能找到3个，未被识别的是内容为空、带有data-table-selection-icon类的<th>元素。

对应DOM结构 #

<table>
       <thead>
          <tr>
             <th class="data-table-selection-icon" scope="col"></th>
             <th scope="col">
                <div class="bx--table-header-label">Whatever</div>
             </th>
             <th scope="col">
                <div class="bx--table-header-label">Whatever2</div>
             </th>
             <th scope="col">
                <div class="bx--table-header-label">Whatever3</div>
             </th>
          </tr>
       </thead>
       <tbody >
          <tr>
             <td width="16">
                <svg><!-- some svg --></svg>
             </td>
             <td>Whatever</td>
             <td>Whatever2</td>
             <td>Whatever3</td>
          </tr>
       </tbody>
    </table>

已尝试的定位代码 #

tr = thead.find_element_by_tag_name("tr")
table_headers = tr.find_elements_by_tag_name("th")  
table_headers2 = tr.find_elements(By.TAG_NAME,"th")  
table_headers3 = tr.find_elements(By.XPATH,"//th")  
table_headers4 = tr.find_elements(By.XPATH,"//node()[contains(@scope,'col')]")  
table_headers5 = driver.find_elements_by_xpath("//thead/tr/*")

解决方案 #

1. 修正XPATH上下文错误

使用tr.find_elements(By.XPATH,"//th")时，//会从整个DOM根节点开始搜索，而非当前<tr>节点的后代元素。需改为.//th表示从当前节点向下查找：

table_headers3 = tr.find_elements(By.XPATH,".//th")

2. 绕过可见性检查获取所有元素

Selenium的find_elements默认仅返回可见元素，空内容的<th>可能因CSS样式（如display: none、visibility: hidden）被标记为不可见。可通过JavaScript直接获取DOM中的所有元素：

# 执行JS获取所有<th>元素，不受可见性限制
all_th = driver.execute_script("return document.querySelectorAll('thead tr th');")
print(len(all_th))  # 应返回4

3. 确保元素完全加载

若空<th>存在加载延迟，需添加显式等待确保所有元素加载完成：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

wait = WebDriverWait(driver, 10)
# 等待所有<th>元素存在于DOM中
all_th = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//thead/tr/th")))
print(len(all_th))

4. 验证元素可见性

可先检查该空<th>是否可见，确认问题根源：

empty_th = driver.find_element(By.CSS_SELECTOR, "th.data-table-selection-icon")
print(empty_th.is_displayed())  # 返回False则说明元素不可见

内容的提问来源于stack exchange，提问作者Guillaume Georges