如何解决Python Selenium爬取时的Stale Element Reference错误？

错误核心原因 #

你遇到的StaleElementReferenceException是因为之前定位的DOM元素已失效——页面跳转、动态刷新或重渲染会让元素脱离当前文档树，此时再调用元素的get_attribute必然报错，爬取的页面越多，页面变动概率越高，错误触发越频繁。

针对性修复方法 #

1. 提前提取所有href字符串，避免保存元素对象

不要先定位DOM元素再循环调用其属性，而是一次性把所有需要的href属性提取为字符串列表，后续直接操作字符串（字符串不受DOM变动影响）。
替换你当前获取href元素并循环的代码：

# 原错误逻辑（保存元素对象）
# href_elements = driver.find_elements(By.CSS_SELECTOR, '你的分类链接选择器')
# for href in href_elements:
#     href_list.append(href.get_attribute('href'))

# 修改后逻辑（直接提取字符串）
href_list = [elem.get_attribute('href') for elem in driver.find_elements(By.CSS_SELECTOR, '你的分类链接选择器')]

后续循环操作的是字符串，完全避开DOM元素失效的问题。

2. 给单个元素操作添加重试机制

如果必须逐个处理元素（比如需要先点击进入分类页再返回），给获取href的操作添加异常捕获和重试逻辑，遇到元素失效时重新定位：

from selenium.common.exceptions import StaleElementReferenceException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

def get_href_with_retry(driver, locator, max_retries=3):
    for _ in range(max_retries):
        try:
            # 显式等待元素加载完成
            elem = WebDriverWait(driver, 10).until(EC.presence_of_element_located(locator))
            return elem.get_attribute('href')
        except StaleElementReferenceException:
            # 元素失效时重新定位
            continue
    return None

# 在循环中使用
# 假设每个分类项的定位器是 (By.CSS_SELECTOR, '你的分类链接选择器')
for index in range(total_categories):
    # 每次循环重新定位当前分类项的href元素
    locator = (By.CSS_SELECTOR, f'你的分类链接选择器:nth-child({index+1})')
    href = get_href_with_retry(driver, locator)
    if href:
        href_list.append(href)

3. 页面跳转后重新获取元素列表

如果流程是从分类列表页点击进入单个分类页爬取，返回列表页后必须重新定位所有分类元素——之前的元素对象在页面跳转后已失效，不能复用：

# 示例流程
while len(href_list) < target_count:
    # 每次回到列表页都重新获取所有分类链接的href
    current_hrefs = [elem.get_attribute('href') for elem in driver.find_elements(By.CSS_SELECTOR, '你的分类链接选择器')]
    href_list.extend(current_hrefs)
    
    # 处理单个分类页逻辑...
    # 处理完成后回到列表页，继续下一批

额外注意事项 #

• 避免在爬取过程中触发不必要的页面刷新，比如非必要不要调用driver.refresh()；
• 爬取时用WebDriverWait替代time.sleep，确保页面元素完全加载后再操作；
• 如果页面有滚动加载更多分类的逻辑，要确保所有分类元素加载完成后再提取href。

内容的提问来源于stack exchange，提问作者Chris