使用Selenium爬取NBA实时赛事时出现已执行代码的过时元素引用异常

核心原因 #

Stale element reference异常本质是你之前获取的DOM元素引用已失效——可能是页面跳转、刷新，或页面通过JS动态更新了DOM结构，导致原元素被销毁或重新渲染，旧引用自然无法再访问。

针对性修复建议 #

结合你的爬取流程，给出具体解决方法：

1. 避免复用旧元素引用
   不要提前把所有赛事元素（game_web_element）存入列表再遍历，每次循环前重新定位元素集合，确保拿到的是最新的DOM节点：

# 不要提前缓存元素（易失效）
# game_elements = driver.find_elements(By.CSS_SELECTOR, "competition")
# for elem in game_elements:
#     ...

# 改为每次循环重新获取
for game in game_list:
    target_team = game["home_team"]
    # 实时拉取最新的赛事元素
    game_elements = driver.find_elements(By.CSS_SELECTOR, "competition")
    for elem in game_elements:
        # 即时定位主队元素并获取文本
        team2 = elem.find_element(By.XXX, "XXX")  # 替换为你实际的定位方式
        current_team = team2.text.strip()
        if current_team == target_team:
            elem.click()
            # 爬取详情页数据逻辑...
            # 返回列表页后等待DOM重新加载
            driver.back()
            break

2. 用显式等待确保元素加载完成
   页面跳转或返回后，不要立刻操作，用WebDriverWait等待元素重新渲染完成，避免操作未加载好的节点：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 回到列表页后，等待赛事元素集合加载完成
WebDriverWait(driver, 10).until(
    EC.presence_of_all_elements_located((By.CSS_SELECTOR, "competition"))
)

3. 优化爬取流程减少资源消耗
   你当前“遍历游戏列表→每个游戏重新打开驱动”的效率极低，且容易引发异常。改为只初始化一次驱动，在同一个实例内完成所有爬取：

# 仅初始化一次驱动
driver = undetected_chromedriver.Chrome()
driver.get("目标网站URL")

for game in game_list:
    target_team = game["home_team"]
    # 每次循环重新获取最新赛事元素
    game_elements = driver.find_elements(By.CSS_SELECTOR, "competition")
    for elem in game_elements:
        team2 = elem.find_element(By.XXX, "XXX")
        if team2.text.strip() == target_team:
            elem.click()
            # 爬取详情页数据...
            driver.back()
            # 等待列表页DOM重新加载
            WebDriverWait(driver, 10).until(
                EC.presence_of_all_elements_located((By.CSS_SELECTOR, "competition"))
            )
            break

# 所有爬取完成后关闭驱动
driver.quit()

4. 捕获异常并重试
   针对StaleElementReferenceException做捕获，遇到异常时重新定位元素再尝试：

from selenium.common.exceptions import StaleElementReferenceException
import time

max_retries = 3
for game in game_list:
    target_team = game["home_team"]
    retry_count = 0
    while retry_count < max_retries:
        try:
            game_elements = driver.find_elements(By.CSS_SELECTOR, "competition")
            for elem in game_elements:
                team2 = elem.find_element(By.XXX, "XXX")
                if team2.text.strip() == target_team:
                    elem.click()
                    # 爬取数据逻辑...
                    driver.back()
                    retry_count = max_retries  # 跳出重试循环
                    break
            break
        except StaleElementReferenceException:
            retry_count += 1
            time.sleep(1)  # 短暂等待后重试

额外提示 #

• 不要在获取元素后长时间保存引用，尽量在需要操作时才去定位元素。
• 页面动态更新时，优先用显式等待替代固定时长的time.sleep()，提升稳定性。

内容的提问来源于stack exchange，提问作者Dupond