Selenium爬虫循环失效与Stale Element Not Found问题求助

问题1：年份与赛事循环仅爬取首个赛事后崩溃 #

常见原因 #

• 循环复用了初始页面的元素引用，页面跳转后原DOM结构更新，导致后续定位失败
• 未处理网络延迟或页面加载不完整，元素未渲染就尝试操作
• 代码未添加异常捕获，单次失败直接终止整个循环

解决办法 #

1. 每次循环重新定位元素：不在循环外提前获取所有年份/赛事元素列表，而是每次进入循环时，从当前页面重新定位目标元素。示例：

   current_index = 0
   while True:
       try:
           # 回到列表页后重新获取赛事元素
           competicoes = driver.find_elements(By.XPATH, "//div[@class='competition-item']")
           if current_index >= len(competicoes):
               break
           # 点击当前索引对应的赛事
           competicoes[current_index].click()
           # 执行爬取逻辑
           # ...
           # 返回列表页
           driver.back()
           current_index += 1
       except Exception as e:
           print(f"处理赛事出错: {e}")
           driver.refresh()
   

2. 添加显式等待：确保页面元素加载完成后再操作，避免因元素未渲染导致的定位失败：

   from selenium.webdriver.support.ui import WebDriverWait
   from selenium.webdriver.support import expected_conditions as EC
   
   # 等待赛事列表加载完成
   WebDriverWait(driver, 10).until(
       EC.presence_of_all_elements_located((By.XPATH, "//div[@class='competition-item']"))
   )
   

3. 增加异常捕获机制：在循环内部捕获异常，避免单次失败导致程序崩溃，可搭配重试逻辑提升稳定性。

问题2：Stale Element Not Found 错误 #

原因 #

该错误源于之前获取的DOM元素引用已失效——通常发生在页面刷新、跳转或DOM结构更新后，旧元素指向的节点已不存在于当前页面。

解决办法 #

1. 避免缓存元素引用：不存储页面跳转/刷新前的元素对象，每次操作前通过定位器重新查找元素。示例：

   # 错误写法：缓存元素引用导致刷新后失效
   ano_element = driver.find_element(By.XPATH, "//select[@name='ano']/option[text()='2023']")
   driver.refresh()
   ano_element.click()  # 触发Stale Element错误
   
   # 正确写法：每次操作前重新查找
   driver.refresh()
   ano_element = driver.find_element(By.XPATH, "//select[@name='ano']/option[text()='2023']")
   ano_element.click()
   

2. 封装安全点击方法：结合显式等待，捕获过期元素异常并重新查找：

   from selenium.common.exceptions import StaleElementReferenceException
   
   def click_element_safely(driver, locator):
       try:
           element = WebDriverWait(driver, 10).until(
               EC.element_to_be_clickable(locator)
           )
           element.click()
       except StaleElementReferenceException:
           # 捕获异常后重新查找并点击
           element = WebDriverWait(driver, 10).until(
               EC.element_to_be_clickable(locator)
           )
           element.click()
   
   # 使用示例
   ano_locator = (By.XPATH, "//select[@name='ano']/option[text()='2023']")
   click_element_safely(driver, ano_locator)
   

3. 替换回退操作：若driver.back()导致DOM状态不稳定，可直接通过URL跳转回列表页，而非依赖浏览器回退功能。

内容的提问来源于stack exchange，提问作者Gabriel Beran Ribeiro