Selenium首次点击正常，后续点击抛出StaleElementReferenceException问题排查

嘿，这个问题我太熟悉了！StaleElementReferenceException说白了就是你之前拿到的元素已经“失效”了——每次点击翻页按钮后，页面会重新渲染DOM（相当于刷新了部分或全部页面），之前定位到的那个>>按钮的引用，已经和当前页面的DOM结构不匹配了，自然就抛出异常了。

你的代码问题出在哪？ #

你现在的写法是每次循环直接调用driver.find_element_by_xpath(...)点击，但其实第一次点击后，页面已经更新，之前的元素引用已经作废，下一次循环再用这个定位逻辑时，虽然XPath是对的，但元素的上下文已经变了，就会报错。

修复方案 #

核心思路就是：每次翻页前，都重新在当前最新的DOM里定位翻页按钮，同时用更可靠的显式等待代替固定的time.sleep（固定等待时间太死板，页面加载慢就会出问题）。

修改后的代码如下：

import sys
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
reload(sys)
sys.setdefaultencoding('utf8')

baseUrl = 'https://www.breastsurgeons.org/new_layout/membership/membersearch/index.php'
driver = webdriver.Chrome('/usr/local/Cellar/chromedriver/2.36/bin/chromedriver')
driver.get(baseUrl)

# 用显式等待代替初始的20秒固定等待，等页面加载完成
WebDriverWait(driver, 20).until(
    EC.presence_of_element_located((By.XPATH, "//a[contains(text(),'>>')]"))
)

for p in range(1,282):
    try:
        # 每次循环都重新定位翻页按钮，确保是当前DOM里的有效元素
        next_page_btn = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.XPATH, "//a[contains(text(),'>>')]"))
        )
        next_page_btn.click()
        # 等待页面加载完成，这里可以根据页面实际加载的元素调整等待条件
        WebDriverWait(driver, 10).until(
            EC.staleness_of(next_page_btn)  # 等待之前的按钮失效，说明页面已更新
        )
    except Exception as e:
        print(f"第{p}页翻页失败: {str(e)}")
        break

driver.quit()

关键优化点解释： #

• 每次循环重新定位元素：通过WebDriverWait每次都在当前页面找可点击的>>按钮，避免复用失效的元素引用。
• 显式等待代替time.sleep：WebDriverWait会等待元素满足条件（比如可点击、存在）再执行操作，比固定等待时间更稳定，也更高效。
• 异常捕获：加入try-except块，避免某一页翻页失败导致整个程序崩溃，还能打印错误信息方便排查。
• 等待页面更新：用EC.staleness_of(next_page_btn)等待之前的按钮失效，确保页面已经完成翻页更新，再进入下一次循环。

额外提醒 #

如果翻到最后一页时，>>按钮会消失或者变成不可点击状态，你可以在循环里加个判断，比如先检查元素是否存在，避免不必要的异常。

内容的提问来源于stack exchange，提问作者leonard teng