Selenium使用geckodriver驱动火狐无法获取最新HTML源码问题求助

问题原因 #

1. 内核加载逻辑差异：geckodriver对页面加载完成的判定逻辑与chromedriver不同，默认仅等待基础HTML请求返回就标记加载完成，不会自动等待后续异步渲染内容、SPA路由跳转后的DOM更新，此时调用page_source只会返回首次加载的旧源码。
2. 配置缺失：你当前的Firefox配置未禁用浏览器缓存，且部分启动参数不符合Firefox的规范，缓存机制会导致驱动优先读取旧页面的DOM快照，不会同步拉取最新页面内容。
3. 等待机制兼容性问题：针对Chrome生效的隐式等待配置、元素定位逻辑在geckodriver中兼容性不足，火狐驱动对元素可见性、DOM就绪的判定标准更严格，未做适配的情况下会出现元素定位失败的问题。

解决方法 #

• 修正Firefox启动配置，补充禁用缓存、规范启动参数，修正后的配置参考如下：

else:
    options = FirefoxOptions()
    options.page_load_strategy = 'normal' # 确保页面完全加载后再返回控制
    # 火狐启动参数需加--前缀
    options.add_argument("--start-maximized")
    options.add_argument('--no-sandbox')
    # 禁用缓存，避免读取旧页面数据
    options.set_preference("browser.cache.disk.enable", False)
    options.set_preference("browser.cache.memory.enable", False)
    options.set_preference("browser.cache.offline.enable", False)
    options.set_preference("network.http.use-cache", False)
    # 原有下载配置保留
    options.set_preference("browser.download.folderList", 2)
    options.set_preference("browser.download.dir", const.download_path)
    # 声明驱动
    driver = webdriver.Firefox(executable_path=const.firefox_driver_path, options=options)
    # 备用最大化方案，比启动参数兼容性更好
    driver.maximize_window()

• 替换driver.page_source的调用方式，优先通过显式等待确认新页面渲染完成后再获取源码或定位元素，示例代码如下：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 跳转页面后，先等待新页面独有元素加载完成，最多等待10秒
WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CSS_SELECTOR, "新页面独有的元素选择器")))
# 优先通过JS获取最新DOM，比原生page_source兼容性更好
latest_html = driver.execute_script("return document.documentElement.outerHTML")

• 确认geckodriver和本地Firefox浏览器的版本匹配，大版本号差值不要超过2，尽量升级到两者的最新稳定版避免兼容bug。

内容的提问来源于stack exchange，提问作者Alexandre Solane