如何通过Python+Selenium保留Firefox缓存以避免重复身份验证

问题根因 #

• 参数传递错误：你把--profile和路径写在同一个add_argument里不符合Firefox的参数解析规则，浏览器会把整段字符串当成单一参数处理，无法识别指定的配置目录，所以每次都会启动全新的临时配置。
• 配置文件锁定机制：Firefox运行时会在配置目录生成.parentlock/lock锁文件，如果上次driver异常退出没有清理锁文件，下次启动会判定配置目录被占用，直接触发闪退，就是你遇到的几秒自动关闭的问题。
• /tmp目录特性：绝大多数容器发行版的/tmp属于tmpfs临时文件系统，容器重启后目录内数据会全部清空，你把配置存在这里自然重启后就丢失了所有缓存和登录状态。
• 默认配置禁用持久化：Selenium默认启动的Firefox会修改隐私配置，关闭Cookie、缓存、历史记录的持久化存储，就算指定了目录也不会写入相关数据。

正确实现代码 #

首先提前在容器内准备一个非/tmp的持久化目录，比如/opt/firefox-profile，部署时将该目录挂载到宿主机持久化卷避免数据丢失，之后使用如下代码：

import os
import logging
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.firefox.firefox_profile import FirefoxProfile

def start_firefox():
    try:
        profile_path = "/opt/firefox-profile"
        os.makedirs(profile_path, exist_ok=True)
        
        # 清理遗留锁文件，避免启动冲突
        lock_files = [".parentlock", "lock", "_CACHE_CLEAN_"]
        for f in lock_files:
            lock_path = os.path.join(profile_path, f)
            if os.path.exists(lock_path):
                os.remove(lock_path)
        
        # 加载配置并开启持久化相关参数
        profile = FirefoxProfile(profile_path)
        profile.set_preference("network.cookie.cookieBehavior", 0)
        profile.set_preference("browser.privatebrowsing.autostart", False)
        profile.set_preference("browser.cache.disk.enable", True)
        profile.set_preference("browser.cache.disk.parent_directory", profile_path)
        profile.set_preference("startup.homepage_welcome_url.additional", "")
        profile.set_preference("browser.startup.homepage_override.mstone", "ignore")
        profile.update_preferences()
        
        # 启动参数注意--profile和路径要分两次传入
        options = Options()
        options.add_argument("--profile")
        options.add_argument(profile_path)
        # 按需开启无头模式
        # options.add_argument("--headless")
        
        driver = webdriver.Firefox(
            firefox_profile=profile,
            options=options,
            service_log_path=os.path.devnull
        )
        return driver
    except Exception as e:
        set_status('selenium', False)
        logging.exception(e)

注意事项 #

• 不要在多进程/多实例场景下共用同一个配置目录，每个实例单独分配路径，避免出现锁冲突导致启动失败。
• 首次运行时可以先手动操作完成身份验证，之后再运行自动化脚本即可直接复用登录状态。

内容的提问来源于stack exchange，提问作者Guilherme Richter