Selenium点击下一页按钮失效 无法定位元素致脚本立即终止

脚本运行后直接判定到达最后一页，核心问题有3个：

1. XPath存在语法错误+定位逻辑不可靠
   你写的定位表达式'//*@id="content"]/div/article[3]/div[11]/ul[1]/li[13]/a'开头缺少左方括号，正确语法开头应为//*[@id="content"]，语法错误直接导致元素定位失败。同时你用的是浏览器复制的全绝对路径+写死列表序号li[13]，分页组件会随着当前页码变化调整按钮排列位置，只要DOM层级有微小变动、或者页码切换后li序号变化，这个定位方式就会直接失效。
2. 等待逻辑不合理
   你只在打开页面时加了固定10秒等待，点击下一页后没有等待新页面加载完成就直接进入下一轮查找，很容易因为页面未渲染完成找不到元素。同时固定sleep的等待方式效率极低，也无法适配网络波动的场景。
3. 流程顺序错误
   当前循环逻辑是进入页面后先点击下一页，会直接跳过第一页的内容处理；且异常捕获只覆盖了NoSuchElementException，元素被遮挡、不可点击等场景的异常没有处理，很容易误判为到达最后一页。

1. 替换不稳定的绝对路径XPath，改用元素特征定位：目标下一页按钮带双右箭头标识、且属于分页组件，可通过分页容器+按钮特征（文本为»、带next相关rel属性）定位，完全不需要写死节点层级和序号。
2. 用显式等待代替固定sleep，等待元素处于可点击状态后再操作，点击后等待页面刷新完成再进入下一轮循环。
3. 调整循环顺序：先处理当前页内容，再判断是否存在可点击的下一页按钮，存在就点击跳转，不存在（按钮置灰/找不到）就退出循环。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException

options = Options()
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)

# 替换为你本地的chromedriver路径
driver = webdriver.Chrome(executable_path='YOUR_CHROMEDRIVER_PATH', options=options)
wait = WebDriverWait(driver, 15) # 最长等待元素15秒
start_url = "https://doffin.no/Notice?pageNumber=1&pageSize=10"
driver.get(start_url)

while True:
    # 等待当前页内容加载完成
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#content article")))
    
    # 在这里写当前页的内容处理逻辑
    # [Do something]
    print("当前页内容处理完成")

    try:
        # 定位分页栏的下一页按钮：匹配分页区域内带双右箭头、或者rel=next的跳转按钮
        next_btn = wait.until(EC.element_to_be_clickable(
            (By.XPATH, '//ul[contains(@class,"pagination")]//a[normalize-space(text())="»" or @rel="next"]')
        ))
        # 检查按钮父级是否为禁用状态（最后一页时按钮会添加disabled类）
        parent_li = next_btn.find_element(By.XPATH, './parent::li')
        if "disabled" in parent_li.get_attribute("class"):
            print("已到达最后一页，退出循环")
            break
        
        # 点击下一页
        next_btn.click()
        print("已跳转到下一页")
        # 等待页面刷新完成：等待旧按钮失效，避免复用旧页面元素
        wait.until(EC.staleness_of(next_btn))

    except TimeoutException:
        print("未找到可点击的下一页按钮，遍历结束")
        break

driver.quit()

• 不要直接使用浏览器开发者工具复制的全路径XPath，这类表达式全靠节点序号定位，页面稍有变动就会失效，优先通过元素的id、class、文本、专属属性（rel、aria-label等）定位。
• 尽量减少time.sleep()的使用，改用Selenium自带的显式等待判断元素状态，脚本稳定性和运行效率都会明显提升。
• 点击分页跳转后一定要加旧元素失效的等待判断，否则会因为页面还没刷新就操作旧元素，导致点击无效或者定位出错。

内容的提问来源于stack exchange，提问作者MJ O