Selenium调用find_elements_by_xpath返回空列表但XPath Helper查询正常

• 第一处错误：XPath字符串写入了HTML转义实体。代码中写的//table[@class="table recordList"]//@href里的"是网页渲染时表示双引号的转义字符，并非XPath语法本身的内容，传入Selenium解析时，XPath引擎会把"当成普通文本匹配，根本无法匹配到class值为table recordList的表格节点。
• 第二处核心逻辑错误：Selenium的元素定位API不支持直接定位属性节点。XPath Helper可以运行//@href这类直接返回属性值的查询，但Selenium的find_elements_by_xpath只支持定位DOM元素节点，写直接抓取属性的XPath会直接触发语法解析异常。
• 第三处错误：异常捕获完全吞掉了报错信息。代码里的裸except: pass会拦截所有类型的异常（包括定位失败、语法错误），连具体报错都不打印，完全排查不到问题根因。
• 第四处细节错误：循环时变量名重复覆盖。代码中for url_elements in url_elements:的写法，会直接把之前存储元素列表的变量url_elements在第一次循环时覆盖为单个元素，哪怕前面定位成功，后续遍历逻辑也会出错。
• 第五处缺少必要的等待逻辑：headless模式下页面的JS渲染通常有延迟，driver.get()方法返回仅代表浏览器发起了页面加载请求，不代表目标表格的DOM节点已经渲染完成，直接定位元素大概率会找不到匹配节点。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

url_xpath = '//table[@class="table recordList"]//a[@href]'
target_url = 'https://www.ethics.senate.gov/public/index.cfm/dearcolleagueletters?page=1'
            
options = Options()
options.headless = True
# 替换为本地chromedriver实际路径
driver = webdriver.Chrome(options=options, executable_path=r'C:\Users\User\Desktop\chromedriver')
    
try:
    driver.get(target_url)
    print("got url")
    # 等待目标表格节点渲染完成，最长等待10秒
    wait = WebDriverWait(driver, 10)
    link_elements = wait.until(
        EC.presence_of_all_elements_located((By.XPATH, url_xpath))
    )
    print("url_elements", link_elements)
    # 循环时使用独立变量名，避免覆盖列表
    for single_link in link_elements:
        article_url = single_link.get_attribute('href')
        print("article url", article_url)
except Exception as e:
    # 打印具体异常信息，方便排查
    print(f"程序异常: {str(e)}")
finally:
    driver.quit()

• 把原XPath调整为定位带href属性的<a>元素节点，符合Selenium定位API的要求，后续通过get_attribute('href')提取链接值，和XPath Helper的查询结果完全等价。
• 替换裸异常捕获为带具体信息打印的异常块，避免无意义的错误吞噬。
• 增加显式等待逻辑，确保目标DOM节点渲染完成后再执行定位操作，适配headless模式的加载节奏。
• 修正循环变量名，避免变量覆盖导致的逻辑错误。

内容的提问来源于stack exchange，提问作者Anon Li