如何使用Selenium访问页面多个链接并返回原页面

你这段代码运行时大概率会触发StaleElementReferenceException，原因是：第一次点击链接返回原页面后，之前通过find_elements获取的links列表里的元素已经变成了过时元素——页面虽然看起来是原页面，但DOM已经重新渲染，之前缓存的元素引用已经失效，下一次循环点击时就会报错。

两种可行的解决方案： #

方案一：先获取所有链接的URL，再循环访问（推荐）

先把所有链接的地址提取出来存成列表，后续直接通过URL跳转，彻底避开元素引用失效的问题：

# 先提取所有链接的href属性
link_urls = []
for link in driver.find_elements(By.CSS_SELECTOR, 'a'):
    url = link.get_attribute('href')
    # 过滤无效链接（比如javascript:void(0)）
    if url and url.startswith(('http://', 'https://')):
        link_urls.append(url)

# 循环访问每个URL
for url in link_urls:
    driver.get(url)
    # 执行页面爬取操作
    driver.back()  # 返回原页面

方案二：每次返回后重新获取链接列表（适合链接动态变化的场景）

如果页面链接可能在操作过程中动态更新，可以每次循环都重新查找链接元素，确保操作的是当前页面的有效元素：

# 先获取初始的链接总数
total_links = len(driver.find_elements(By.CSS_SELECTOR, 'a'))

for i in range(total_links):
    # 每次循环重新获取链接列表
    current_links = driver.find_elements(By.CSS_SELECTOR, 'a')
    current_links[i].click()
    # 执行页面爬取操作
    driver.back()

额外注意事项： #

• 爬取页面时建议添加显式等待（比如WebDriverWait），确保目标元素加载完成后再操作，避免因页面加载慢导致的报错。
• 如果原页面有分页或动态加载的链接，需要先确保所有链接都加载完成后再提取URL或计数。

内容的提问来源于stack exchange，提问作者ŠihaliShishi