Python Selenium爬取：如何用XPath筛选含header子元素的row类div？

错误原因分析 #

你之前的XPath表达式//div[contains(@class,'row') and (contains(@class, 'header'))]逻辑错误，它是在查找同时拥有row和header两个CSS类的div元素，而非你需要的「class为row且包含class为header子元素」的div，这就是导致TimeoutException的核心原因。

正确的XPath写法 #

要定位class为row且包含class为header后代元素的div，需要调整XPath的层级逻辑：

//div[contains(@class,'row') and .//*[contains(@class,'header')]]

• .代表当前匹配的外层div（即class含row的div）
• .//*表示当前div下的所有后代元素
• 后半部分筛选出其中class含header的元素，确保外层div满足「包含目标子元素」的条件

如果header元素是row的直接子节点，可以进一步优化XPath以提升定位效率：

//div[contains(@class,'row') and ./div[contains(@class,'header')]]

调整后的代码示例 #

考虑到你需要爬取所有职位结果，建议使用visibility_of_all_elements_located等待所有匹配元素加载完成，而非仅等待单个元素：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

# 等待所有符合条件的元素可见
job_divs = wait.until(EC.visibility_of_all_elements_located(
    (By.XPATH, "//div[contains(@class,'row') and .//*[contains(@class,'header')]]")
))

# 遍历处理每个职位div
for div in job_divs:
    # 提取职位信息的逻辑，例如：
    title = div.find_element(By.CSS_SELECTOR, ".header").text
    # 其他信息提取...

方法可行性 #

这个方法完全可行，它精准匹配了页面元素的层级结构，能够准确筛选出包含职位信息的目标div元素。

内容的提问来源于stack exchange，提问作者hemoglobin