Selenium分页问题：无法识别禁用下一页按钮求助

核心问题分析 #

你遇到的问题主要有两个：

• 绝对XPATH过于脆弱，页面结构稍有变动就会失效
• 对按钮禁用状态的判断逻辑不准确

解决方案步骤 #

1. 替换为稳定的相对XPATH #

绝对XPATH（/html/body/div[1]/div/...）完全依赖页面DOM结构，一旦页面更新就会失效。你应该基于按钮的唯一特征编写相对XPATH：

• 打开目标页面的开发者工具（F12），定位下一页按钮的HTML元素
• 提取按钮的关键属性：比如文本为"Next"、aria-label="Next page"，或特定class（如pager__item--next）
• 示例相对XPATH：
  • 根据文本：//a[contains(text(), 'Next')]
  • 根据aria属性：//a[@aria-label='Next page']
  • 根据class：//a[contains(@class, 'pager__item--next')]

2. 准确判断按钮禁用状态 #

网站禁用按钮的方式有多种，需结合多种判断条件：

• 检查aria-disabled属性是否为'true'
• 检查是否存在disabled属性
• 检查按钮是否可点击（通过Selenium的element_to_be_clickable等待）

3. 修改后的完整代码 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get(
    "https://www.usgbc.org/projects/?Country=%5B%22United+States%22%5D&Rating+System=%5B%22New+Construction%22%5D&Rating+Version=%5B%22v2009%22%5D&Certification=%5B%22Platinum%22%5D&State=%5B%22Texas%22%5D")

while True:
    # 在这里编写处理当前页面数据的逻辑
    # ...

    # 等待下一页按钮出现，使用稳定的相对XPATH
    next_button = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, "//a[contains(text(), 'Next')]"))
    )

    # 多维度判断按钮是否禁用
    is_disabled = False
    # 检查aria-disabled属性
    if next_button.get_attribute('aria-disabled') == 'true':
        is_disabled = True
    # 检查disabled属性
    elif next_button.get_attribute('disabled') is not None:
        is_disabled = True
    # 尝试等待按钮可点击，超时则判定为禁用
    else:
        try:
            WebDriverWait(driver, 2).until(EC.element_to_be_clickable((By.XPATH, "//a[contains(text(), 'Next')]")))
        except:
            is_disabled = True

    if is_disabled:
        break

    # 点击下一页后，等待页面加载完成（避免元素过期）
    next_button.click()
    WebDriverWait(driver, 10).until(EC.staleness_of(next_button))

driver.quit()

额外注意事项 #

• 点击下一页后，必须等待页面加载完成（示例中用staleness_of等待原按钮失效，确保页面已刷新）
• 如果页面有加载动画，可以等待加载动画消失后再进行下一次循环判断
• 若按钮文本或属性有变动，需重新调整XPATH

内容的提问来源于stack exchange，提问作者hrocj2n