如何通过Selenium(Python)验证网页刷新变更并解决缓存问题？

我之前用Edge WebDriver做类似的页面监控任务时，也碰到过一模一样的缓存坑！你猜得没错，就是浏览器缓存在搞鬼——当你用driver.get(driver.current_url)时，Edge会觉得URL没变化，直接返回本地缓存的页面，根本没去服务器拉取新内容。下面给你几个亲测有效的解决办法：

1. 初始化驱动时直接禁用缓存 #

启动Edge的时候，通过配置选项强制关闭各类缓存，从根源上避免缓存干扰：

from selenium import webdriver
from selenium.webdriver.edge.options import Options

edge_options = Options()
# 禁用页面缓存、应用缓存和离线缓存
edge_options.add_argument("--disable-cache")
edge_options.add_argument("--disable-application-cache")
edge_options.add_argument("--disable-offline-load-stale-cache")
# 把磁盘缓存和媒体缓存大小设为0
edge_options.add_argument("--disk-cache-size=0")
edge_options.add_argument("--media-cache-size=0")

# 也可以通过偏好设置禁用HTTP缓存
edge_options.add_experimental_option("prefs", {
    "network.http.use-cache": False
})

driver = webdriver.Edge(options=edge_options)

2. 用driver.refresh()替代重复get当前URL #

driver.refresh()更贴近手动点击刷新按钮的行为，浏览器会明确向服务器发起新请求，而不是复用缓存。把你的循环改成这样：

import time

previous_source = ""
while True:
    driver.refresh()
    # 给页面一点加载时间，后续建议换成更可靠的显式等待
    time.sleep(1)
    current_source = driver.page_source
    
    # 检查内容变更逻辑
    if current_source != previous_source:
        print("检测到内容变更！")
        previous_source = current_source
    
    # 避免请求太频繁触发服务器反爬
    time.sleep(2)

3. 用显式等待确保页面完全更新 #

有时候页面刷新后，内容不是立刻渲染完成的，直接拿page_source可能还是旧数据。针对关键内容元素设置显式等待，确保新内容加载完成后再获取：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

previous_content = ""
while True:
    driver.refresh()
    # 等待目标内容元素出现并获取文本（这里假设内容在id为"target-content"的元素里）
    current_content = WebDriverWait(driver, 5).until(
        EC.presence_of_element_located((By.ID, "target-content"))
    ).text
    
    if current_content != previous_content:
        print("内容已更新：", current_content)
        previous_content = current_content
    
    time.sleep(1)

额外提醒 #

• 频繁刷新可能触发服务器的反爬机制，记得加合理的延迟（比如1-5秒）；
• 如果是单页应用（SPA），刷新可能只是前端路由重载，需要等待JS渲染完成，你可以等待某个只有新内容才会出现的元素，或者检查页面的document.readyState是否为complete；
• 尽量对比特定元素的内容而不是整个page_source，这样更高效，也能避免页面无关元素（比如广告、时间戳）变化导致误判。

内容的提问来源于stack exchange，提问作者Douglas Sloth