使用Selenium遍历网站目录时遇StaleElementReferenceException问题求助

错误原因 #

你碰到的selenium.common.exceptions.StaleElementReferenceException，本质是因为最初获取的folders元素列表，在你点击目录并返回根目录后，页面DOM已经重新渲染，原来的元素引用已经和当前页面文档失去关联，后续再调用这些旧引用自然会报错。

解决方案 #

方案1：每次循环重新获取目录元素 #

既然回到根目录后DOM会刷新，那就不要复用第一次获取的元素列表，每次循环都重新定位目录元素：

import time
from selenium import webdriver

# 初始化driver（省略你的初始化代码）
driver = webdriver.Chrome()

# 先获取初始目录总数
folder_count = len(driver.find_elements_by_class_name("directory"))

for i in range(folder_count):
    # 每次循环重新获取目录列表，确保元素属于当前DOM
    folders = driver.find_elements_by_class_name("directory")
    folders[i].click()
    time.sleep(2)
    
    # 这里添加你获取文件名的逻辑
    
    # 返回根目录
    driver.find_element_by_xpath('//*[@id="default-layout"]/div[1]/div/div/div[1]/div[1]/nav/ol/a').click()
    time.sleep(2)

方案2：通过唯一标识定位目录（更可靠） #

如果目录有唯一的文本、ID或其他属性，可以先收集这些标识，每次回到根目录后通过标识定位对应目录，避免索引变化带来的问题：

import time
from selenium import webdriver

driver = webdriver.Chrome()

# 先收集所有目录的文本（假设目录文本唯一）
folder_names = [folder.text for folder in driver.find_elements_by_class_name("directory")]

for name in folder_names:
    # 通过文本定位当前根目录下的目标文件夹
    folder = driver.find_element_by_xpath(f"//*[@class='directory' and text()='{name}']")
    folder.click()
    time.sleep(2)
    
    # 这里添加你获取文件名的逻辑
    
    # 返回根目录
    driver.find_element_by_xpath('//*[@id="default-layout"]/div[1]/div/div/div[1]/div[1]/nav/ol/a').click()
    time.sleep(2)

优化建议 #

尽量避免使用time.sleep()，改用Selenium的显式等待，它会在元素满足条件后立即执行，比固定等待更稳定高效：

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()

# 显式等待目录元素加载完成，收集目录名称
folder_names = [folder.text for folder in WebDriverWait(driver, 10).until(
    EC.presence_of_all_elements_located((By.CLASS_NAME, "directory"))
)]

for name in folder_names:
    # 等待目录元素可点击后再点击
    folder = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.XPATH, f"//*[@class='directory' and text()='{name}']"))
    )
    folder.click()
    
    # 显式等待文件元素加载，这里替换成你获取文件名的逻辑
    # files = WebDriverWait(driver, 10).until(...)
    
    # 等待返回按钮可点击后返回根目录
    back_btn = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.XPATH, '//*[@id="default-layout"]/div[1]/div/div/div[1]/div[1]/nav/ol/a'))
    )
    back_btn.click()

内容的提问来源于stack exchange，提问作者Luca Galati