Selenium机器人多页面运行卡顿崩溃、stale元素错误解决方案问询

一、浏览器运行卡顿优化方案 #

1. 调整Firefox启动配置，降低资源占用 #

初始化WebDriver时添加以下配置，禁用不必要的功能减少内存、CPU消耗：

from selenium.webdriver.firefox.options import Options

options = Options()
# 禁用三类缓存，避免缓存堆积占用内存
options.set_preference("browser.cache.disk.enable", False)
options.set_preference("browser.cache.memory.enable", False)
options.set_preference("browser.cache.offline.enable", False)
# 禁用图片加载（如果业务不需要展示图片可开启，大幅降低资源占用）
# options.set_preference("permissions.default.image", 2)
# 禁用桌面通知、自动更新等无关功能
options.set_preference("dom.webnotifications.enabled", False)
options.set_preference("app.update.enabled", False)
# 配置下载路径避免弹窗干扰（按需填写你的下载目录）
options.set_preference("browser.download.folderList", 2)
options.set_preference("browser.download.dir", "/path/to/your/download/folder")
options.set_preference("browser.helperApps.neverAsk.saveToDisk", "application/octet-stream,application/pdf") # 按需添加你要下载的文件MIME类型

2. 定期清理会话与重启浏览器 #

• 每次迭代完成后，执行清理逻辑释放资源：

# 清除所有Cookie
driver.delete_all_cookies()
# 清除本地存储与会话存储
driver.execute_script("window.localStorage.clear(); window.sessionStorage.clear();")

• 按迭代次数定期重启浏览器进程：你当前40次迭代就出现卡顿，可设置每30次迭代调用driver.quit()完全关闭浏览器，再重新初始化WebDriver实例，这是解决Selenium长时间运行内存泄漏最直接有效的方案。

二、StaleElementReferenceException报错解决方案 #

你已经添加了元素定位等待仍然报错，核心原因是元素定位完成后，DOM发生了重新渲染（页面刷新、局部更新、跳转都可能触发），之前拿到的元素引用已经失效，可按以下优先级优化：

1. 升级等待条件，不提前复用元素引用 #

• 不要把定位到的元素存储为全局变量反复使用，每次操作元素前重新执行定位逻辑
• 将等待条件从仅判断元素存在的presence_of_element_located，替换为判断元素可交互的element_to_be_clickable，同时校验元素存在、可见、可点击

2. 封装带重试的安全操作方法 #

捕获Stale元素异常后自动重试，避免单次DOM变化导致程序崩溃，示例代码：

import time
from selenium.common.exceptions import StaleElementReferenceException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

def safe_click(driver, locator, timeout=10, max_retries=3):
    for retry in range(max_retries):
        try:
            target = WebDriverWait(driver, timeout).until(EC.element_to_be_clickable(locator))
            target.click()
            return
        except StaleElementReferenceException:
            if retry == max_retries - 1:
                raise
            time.sleep(0.5)

调用时直接传入元素定位器即可，比如safe_click(driver, (By.ID, "submit-btn"))，输入、获取元素属性等其他操作也可以按相同逻辑封装重试。

3. 增加页面加载完成校验 #

每次页面跳转或触发更新后，先等待页面加载完成再执行后续操作：

# 等待页面静态资源加载完成
WebDriverWait(driver, 10).until(lambda d: d.execute_script("return document.readyState") == "complete")
# 如果是单页应用，可额外等待业务自定义的加载状态消失，比如等待loading遮罩层隐藏
WebDriverWait(driver, 10).until(EC.invisibility_of_element_located((By.CLASS_NAME, "loading-mask")))

内容的提问来源于stack exchange，提问作者bobthebuilder