使用Python Selenium爬取Interpol红通信息遇StaleElementReferenceException求助

错误原因 #

你遇到的StaleElementReferenceException本质是元素引用失效：点击下一页后，页面DOM会完全重新加载，你之前循环用的products列表里的元素、下一页按钮的引用，对应的DOM节点已经被销毁，再操作这些旧引用自然会报错。

解决方案 #

核心思路是每一页都重新定位当前页的元素，绝不复用之前页面的元素引用，同时用显式等待确保页面加载完成后再操作。

修改后的代码示例 #

先导入必要的等待模块：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

调整爬取逻辑：

name = []
age = []

# 循环爬取直到没有下一页
while True:
    # 等待当前页的红通条目全部加载完成
    products = WebDriverWait(driver, 10).until(
        EC.presence_of_all_elements_located(('xpath', "//div[contains(@class, 'redNoticeItem')]"))
    )
    
    # 遍历当前页的所有条目
    for product in products:
        # 获取姓名和年龄（若子元素加载慢，可给子元素加显式等待）
        name_text = product.find_element(by='xpath', value=".//div[@class='redNoticeItem__labelText']").text
        age_text = product.find_element(by='xpath', value='.//span[@class="age"]').text
        name.append(name_text)
        age.append(age_text)
    
    # 处理下一页跳转
    try:
        # 等待下一页按钮可点击
        next_button = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable(('xpath', "//a[@class='nextIndex right-arrow']"))
        )
        next_button.click()
        # 等待页面刷新完成（通过判断旧页面的第一个元素是否失效）
        WebDriverWait(driver, 10).until(
            EC.staleness_of(products[0])
        )
    except:
        # 捕获异常说明没有下一页了，退出循环
        break

关键优化点 #

• 每页重新获取元素：不再提前一次性获取所有products，每进入一页就重新定位当前页的条目，彻底避免过时引用问题。
• 显式等待替代直接查找：用WebDriverWait确保元素存在/可交互后再操作，比固定延迟的time.sleep()更可靠，适配不同加载速度。
• 页面刷新确认：点击下一页后，等待旧页面的元素失效，确保新页面完全加载后再开始下一轮爬取。

额外注意事项 #

• 如果网站有反爬限制，可在点击下一页后加1-2秒的延迟（import time; time.sleep(1)），但优先依赖显式等待。
• 若子元素偶尔加载慢，可给姓名、年龄的查找也套上显式等待，比如：

  name_text = WebDriverWait(product, 5).until(
      EC.visibility_of_element_located(('xpath', ".//div[@class='redNoticeItem__labelText']"))
  ).text
  

内容的提问来源于stack exchange，提问作者Gabriel Beran Ribeiro