解决Selenium Python中页面导航循环引发的Stale Element Reference异常问题

你遇到的这个异常是Selenium处理页面跳转时的典型问题，核心原因很直白：当你调用driver.back()回到列表页时，最初获取的商品列表元素(mainloop)已经和当前页面的DOM脱节了。浏览器返回列表页后会重新渲染页面，原来的元素引用已经不再绑定到当前文档，自然无法继续操作。

下面是几种针对这种导航场景的解决思路，完全贴合你想学习页面导航处理的需求：

方法1：每次循环重新获取商品列表元素 #

核心思路是不要依赖初始获取的元素集合，而是在每次循环开始（包括从详情页返回后）重新定位商品列表，这样每次拿到的都是当前页面的有效元素引用。

修改后的完整代码如下：

from selenium import webdriver
from selenium.common import exceptions
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pandas as pd
import time

PATH = r"C:\Users\MaxPain\Documents\geckodriver.exe"
ser = Service(PATH)
driver = webdriver.Chrome(service=ser)

MainURL = "https://www.amazon.com/s?i=electronics-intl-ship&bbn=16225009011&rh=n%3A2811119011%2Cn%3A2407755011&dc&ds=v1%3AC0LTQbPEHkj0izU%2BGQ%2FVcuqm26QN2oitQYzfpo09qvk&qid=1663587128&rnid=2811119011&ref=sr_nr_n_2"
driver.get(MainURL)

# 先获取商品总数，作为循环的次数依据
total_products = len(driver.find_elements(By.XPATH , '//div[@data-component-type="s-search-result"]'))
print("Total Products : " , total_products)
data = []

for index in range(total_products):
    # 每次循环都重新获取商品列表，确保元素引用是当前页面的有效DOM节点
    mainloop = WebDriverWait(driver, 10).until(
        EC.presence_of_all_elements_located((By.XPATH , '//div[@data-component-type="s-search-result"]'))
    )
    current_item = mainloop[index]
    
    # 提取列表页的商品标题和URL
    title = current_item.find_element(By.XPATH ,'.//h2/a/span').text
    URL = current_item.find_element(By.XPATH, './/h2/a').get_attribute('href')
    
    # 点击进入详情页
    current_item.find_element(By.XPATH, './/h2/a').click()
    
    # 显式等待品牌元素加载完成，避免因页面未加载完全找不到元素
    brand = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, '//a[@id = "bylineInfo"]'))
    ).text.replace("Visit the ","")
    
    data.append({'Title':title,"ProductURL":URL, "Brand":brand})
    
    # 返回列表页
    driver.back()
    # 等待列表页重新加载完成，给浏览器缓冲时间
    time.sleep(1)
    # 再次确认列表元素加载完成，确保下一次循环能正常获取元素
    WebDriverWait(driver, 10).until(
        EC.presence_of_all_elements_located((By.XPATH , '//div[@data-component-type="s-search-result"]'))
    )

df = pd.DataFrame(data)
df.to_csv('AmzTest.csv')
driver.quit()

方法2：使用窗口句柄切换（替代driver.back()） #

另一种思路是打开新窗口加载详情页，这样列表页的元素不会因为导航而失效，处理完详情页后关闭新窗口，切回原窗口继续循环。这种方法可以彻底避免driver.back()带来的页面重新渲染问题：

# 仅展示循环部分的改动，其余代码和原代码一致
mainloop = driver.find_elements(By.XPATH , '//div[@data-component-type="s-search-result"]')
print("Total Products : " , len(mainloop))
data = []

for index, l in enumerate(mainloop):
    title = l.find_element(By.XPATH ,'.//h2/a/span').text
    URL = l.find_element(By.XPATH, './/h2/a').get_attribute('href')
    
    # 打开新窗口加载详情页
    driver.execute_script("window.open('');")
    # 切换到新打开的窗口
    driver.switch_to.window(driver.window_handles[1])
    driver.get(URL)
    
    # 提取品牌信息
    brand = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, '//a[@id = "bylineInfo"]'))
    ).text.replace("Visit the ","")
    
    data.append({'Title':title,"ProductURL":URL, "Brand":brand})
    
    # 关闭新窗口，切回原列表页窗口
    driver.close()
    driver.switch_to.window(driver.window_handles[0])

关键知识点总结 #

• StaleElementReferenceException本质：元素引用绑定的是某个时刻的DOM状态，当页面刷新、导航后，旧引用就会失效，必须重新获取元素。
• 显式等待的必要性：不要过度依赖time.sleep()，用WebDriverWait配合预期条件，可以更稳定地等待元素加载完成，避免超时或找不到元素的问题。
• 导航场景的两种处理思路：要么每次循环重新获取元素，要么用多窗口切换保留原页面的元素状态。

内容的提问来源于stack exchange，提问作者ScrapperMaster