Python Selenium使用XPath OR逻辑定位元素失效与空值问题排查

1. 为什么没有触发NoSuchElementException、反而返回空字符串 #

你的XPath匹配逻辑并没有完全匹配失败——它成功命中了DOM树中真实存在的节点，只是这些节点本身没有渲染出任何可见文本。对空节点调用.text方法只会返回空字符串，根本不会走到异常捕获的分支，自然不会返回你预设的"No prices"提示。
具体来说，你写的匹配规则.//td[@class= "price-amount"] |.//table[@class= "price-amount"]，会把页面上所有class属性带price-amount的空td、空table容器全部抓回来。这些空节点是真实存在于DOM中的，只是没有被填充价格内容，所以Selenium不会抛出找不到元素的异常。

补充说明：Selenium原生的find_element方法仅校验DOM节点是否存在，不会校验节点的文本内容、可见状态，哪怕节点是隐藏的、文本为空，只要节点属性匹配，就会正常返回元素对象。
你之前尝试的另一版XPath.//td[@class= "price-amount"] |.//tr[@class="price-label"] 也是同样的问题：price-label类的tr节点大多只是外层容器，真正的价格文本在它的子节点里，直接抓容器节点的.text自然返回空值。

2. 为什么多版XPath始终无法稳定提取价格 #

目标站点的商品详情页DOM没有做统一结构规范，价格模块的标签、位置、渲染方式差异很大：

• 常规单品类商品的价格放在<td class="price-amount">节点内，直接带完整文本
• 套装、促销类商品的价格会换用div、span标签承载，甚至价格值直接存在自定义属性里，不是写在节点文本中
• 部分商品的价格是前端异步加载的，刚打开页面时只有空的价格容器，数据请求完成后才会填充内容

核心优化逻辑 #

• 给XPath加非空文本过滤条件，从根源上避免匹配到空壳DOM节点
• 准备多组备用XPath，覆盖不同类型商品的价格结构
• 用显式等待替代直接查找，等节点渲染出有效内容再取值
• 加一层文本非空校验，只有拿到有效价格文本才停止匹配

替换后的可运行代码 #

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from tqdm import tqdm

# 多组备用价格XPath，覆盖不同页面结构，带非空文本过滤
price_xpath_list = [
    # 常规商品：带price-amount类的td节点，且有非空文本
    './/td[@class="price-amount" and normalize-space(text())]',
    # 动态加载的价格节点：带data-price-amount属性且有值
    './/*[@data-price-amount and normalize-space(@data-price-amount)]',
    # 促销块中的价格节点：包含货币符号的价格文本
    './/*[contains(@class, "price") and contains(text(), "$")]'
]

alldetails = []
for link in tqdm(listOflinks):
    driver.get(link)
    current_price = "No prices"
    # 逐个尝试备用XPath，找到有效价格就停止
    for xp in price_xpath_list:
        try:
            # 最多等待10秒，等节点渲染出有效内容
            price_elem = WebDriverWait(driver, 10).until(
                EC.presence_of_element_located((By.XPATH, xp))
            )
            price_text = price_elem.text.strip()
            # 文本非空则更新价格值，跳出循环
            if price_text:
                current_price = price_text
                break
        except:
            # 当前XPath未匹配到有效内容，尝试下一个规则
            continue
    alldetails.append({'Precios': current_price})

额外注意事项 #

• 替换旧版Selenium的find_element_by_xpath系列API，统一使用By.枚举写法，兼容Selenium4版本的同时，减少语法层面的兼容问题
• 不要用固定time.sleep()等待页面加载，用WebDriverWait等具体元素渲染完成再取值，大幅提升动态页面的抓取稳定性
• 匹配节点时尽量增加文本过滤条件（如normalize-space(text())），避免无意义的空节点匹配

内容的提问来源于stack exchange，提问作者mlosada