Selenium Python：XPath可提取文本但CSS选择器返回空值问题

问题根因 #

• 站点存在反爬机制：页面初始加载阶段会提前插入多个带gtm-listing-link-contact-owner-phone类名的空占位<a>标签，只有当页面滚动到联系板块、触发对应渲染逻辑后，真实带电话号码的a标签才会替换占位节点。你用CSS选择器全局匹配类名时，大概率先命中了还没被替换的空占位元素，自然提取不到文本。
• 环境状态不一致：你在Chrome开发者工具里校验CSS选择器时，页面已经完成全量渲染、交互触发完毕，此时匹配到的是真实带号码的元素，和爬虫运行时DOM未完全渲染的状态存在差异，才会出现“浏览器里定位正确、代码里取值为空”的现象。
• 你写的绝对XPath是沿DOM层级逐层查找，只会命中联系模块内的目标节点，不会匹配到页面其他位置提前埋的空占位元素，所以能正常取到值，但这种绝对路径对DOM结构变化容错性极差，换个房源页就会失效。
• 补充：部分房源页的电话号码不会直接放在a标签的文本节点中，而是存在元素的data-phone自定义属性里，直接取.text也会拿到空值。

修复方案 #

• 加显式等待逻辑，等目标元素加载出有效文本后再执行取值，不要页面加载完就立刻查找元素。
• 缩小定位范围，先定位到稳定的联系板块父容器，再在容器范围内查找目标a标签，避免命中全局的空占位元素；同时通过href^="tel:"属性筛选真实的电话跳转链接，占位元素不会携带合法的电话协议链接。
• 增加属性取值兜底，优先读元素上的data-phone属性，再读文本内容，适配不同房源页的DOM差异。

可直接复用的实现代码：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 10秒超时显式等待
wait = WebDriverWait(driver, 10)
try:
    # 先定位联系板块父容器，该节点class在所有房源页通用
    contact_container = deal_box.find_element(By.CSS_SELECTOR, 'section[class*="listing-contact"]')
    # 在父容器内匹配带tel链接的真实电话按钮，等待元素可见
    phone_elem = wait.until(
        EC.visibility_of(
            contact_container.find_element(By.CSS_SELECTOR, 'a.gtm-listing-link-contact-owner-phone[href^="tel:"]')
        )
    )
    # 优先取data-phone属性，无属性再取文本，做兼容
    house_phone = (phone_elem.get_attribute("data-phone") or phone_elem.text).strip()
except:
    house_phone = "N/D"

内容的提问来源于stack exchange，提问作者DataScience_Junior