网页爬取：解决CSS选择器频繁变更导致报错的技巧咨询

问题背景 #

爬取eDreams网站时，"下一页"按钮的CSS选择器因动态生成的class频繁变化，导致原代码依赖固定选择器频繁报错：

• 之前的选择器：

#search_results_table > div:nth-child(2) > div > div > div > div.d7a0553560 > div.b727170def > nav > div > div.f32a99c8d1.f78c3700d2 > button > span > svg

• 当前的选择器：

#search_results_table > div:nth-child(2) > div > div > div > div.d7a0553560 > div.a826ba81c4.fa71cba65b.fa2f36ad22.afd256fc79.d08f526e0d.ed11e24d01.ef9845d4b3.b727170def > nav > div > div.f32a99c8d1.f78c3700d2 > button

原报错代码片段：

driver.find_element(By.CSS_SELECTOR,'#search_results_table > div:nth-child(2) > div > div > div > div.d7a0553560 > div.b727170def > nav > div > div.f32a99c8d1.f78c3700d2 > button > span > svg').click()
time.sleep(10)

实用解决技巧 #

1. 优先使用稳定属性定位 #

避开随机生成的动态class，转而使用按钮的语义化属性或文本：

• 匹配按钮文本（如果有可见的"下一页"或"Next page"）：

driver.find_element(By.XPATH, '//button[contains(text(), "下一页")]').click()

• 利用aria-label、title这类辅助属性：

driver.find_element(By.CSS_SELECTOR, 'button[aria-label="Next page"]').click()

2. 简化选择器，减少层级依赖 #

原选择器层级过深，任意一层class变化都会失效。简化为只保留最稳定的父元素和目标元素的核心特征：
比如保留页面唯一的#search_results_table ID，结合导航区域和按钮的关键标识：

#search_results_table nav button[data-testid="pagination-next"]

（如果按钮有data-testid这类测试属性，优先使用，这类属性专为自动化设计，稳定性极高）

3. 用XPath相对路径替代绝对CSS路径 #

XPath支持更灵活的相对定位，避免绝对路径的脆弱性。比如从导航栏出发定位下一页按钮：

driver.find_element(By.XPATH, '//*[@id="search_results_table"]//nav//button[contains(@class, "pagination-next")]').click()

也可以组合多个属性提高容错性：

driver.find_element(By.XPATH, '//button[contains(@class, "f32a99c8d1") and contains(@class, "f78c3700d2")]').click()

4. 实现多选择器容错机制 #

同时尝试多个可能的选择器，捕获NoSuchElementException异常，直到找到可用的按钮：

from selenium.common.exceptions import NoSuchElementException

next_page_selectors = [
    '#search_results_table nav button[data-testid="pagination-next"]',
    'button[aria-label="Next page"]',
    '#search_results_table .f32a99c8d1.f78c3700d2 button'
]

for selector in next_page_selectors:
    try:
        driver.find_element(By.CSS_SELECTOR, selector).click()
        break
    except NoSuchElementException:
        continue
else:
    print("未找到下一页按钮")

5. 寻找页面的静态测试标识 #

查看HTML源码，寻找开发者留下的静态测试属性（如data-testid、data-action），这类属性不会随页面样式频繁变更：

driver.find_element(By.CSS_SELECTOR, 'button[data-testid="next-page"]').click()

6. 替换硬等待为显式等待 #

原代码的time.sleep(10)是硬等待，效率低且易出错。改用显式等待，配合多选择器容错，提升稳定性：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

wait = WebDriverWait(driver, 15)
next_page_selectors = [
    'button[aria-label="Next page"]',
    '#search_results_table nav button.f32a99c8d1'
]

for selector in next_page_selectors:
    try:
        next_btn = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, selector)))
        next_btn.click()
        break
    except:
        continue

内容的提问来源于stack exchange，提问作者Stackoverflow Stackoverflow