如何实现Selenium中等待页面完全加载（含数据加载完成）的通用方案？

我太懂你这种困扰了！固定的time.sleep()时灵时不灵，等document.readyState又只管DOM框架不管数据加载，显式等待又找不到跨页面通用的元素——这种情况确实需要一个能覆盖数据加载的通用等待方案，我给你分享几个亲测有效的思路：

方案一：监听网络请求，等待所有数据请求完成 #

很多页面的动态数据都是通过XHR或Fetch请求拉取的，我们可以利用Selenium的DevTools API监听网络请求，等所有pending的请求都完成后再继续操作。

以Python为例，你可以写一个自定义的等待条件：

from selenium.webdriver.support.ui import WebDriverWait

def wait_for_network_idle(driver, timeout=30, idle_time=2):
    """等待网络空闲：在idle_time秒内没有新的网络请求"""
    driver.execute_cdp_cmd("Network.enable", {})
    
    # 记录最后一次请求的时间
    last_request_time = driver.execute_script("return Date.now()")
    
    def network_idle(driver):
        nonlocal last_request_time
        # 获取所有未完成的请求
        active_requests = driver.execute_cdp_cmd("Network.getRequests", {})["requests"]
        active = [req for req in active_requests if req["status"] in ("pending", "loading")]
        if not active:
            current_time = driver.execute_script("return Date.now()")
            if current_time - last_request_time >= idle_time * 1000:
                return True
        else:
            last_request_time = driver.execute_script("return Date.now()")
        return False
    
    WebDriverWait(driver, timeout).until(network_idle)
    driver.execute_cdp_cmd("Network.disable", {})

使用的时候，只需要在页面跳转后调用wait_for_network_idle(driver)就行。注意：如果页面有持续的轮询请求（比如每隔几秒拉一次数据），你需要在过滤active请求时排除这些已知的轮询接口。

方案二：等待DOM稳定，确认页面不再更新 #

如果页面的数据加载会持续更新DOM，我们可以通过检查DOM内容的稳定性来判断加载完成——比如每隔几百毫秒检查一次页面根元素的内容，当连续几次内容都没有变化时，就认为数据加载完成了。

同样是Python的示例：

import hashlib
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By

def wait_for_dom_stable(driver, timeout=30, check_interval=0.5, stable_count=3):
    """等待DOM稳定：连续stable_count次检查DOM内容都一致"""
    stable_times = 0
    last_hash = None
    
    def dom_stable(driver):
        nonlocal stable_times, last_hash
        # 获取页面根元素的HTML内容
        root_html = driver.find_element(By.TAG_NAME, "html").get_attribute("innerHTML")
        current_hash = hashlib.md5(root_html.encode()).hexdigest()
        
        if current_hash == last_hash:
            stable_times += 1
            if stable_times >= stable_count:
                return True
        else:
            stable_times = 0
            last_hash = current_hash
        return False
    
    WebDriverWait(driver, timeout, poll_frequency=check_interval).until(dom_stable)

这个方案的好处是完全不依赖页面特定元素，只要DOM停止更新就认为加载完成。你可以根据页面调整check_interval（检查间隔）和stable_count（连续稳定次数），避免因为DOM微小的波动（比如时间戳更新）误判。

方案三：多重校验的组合方案 #

如果担心单一方案有遗漏，可以把几种方式结合起来，比如：

• 先等待document.readyState为complete（保证DOM框架加载完成）
• 再等待网络请求空闲
• 最后再做一次DOM稳定检查

这样的组合能覆盖大多数场景，代码示例：

def wait_for_full_page_load(driver, timeout=30):
    # 1. 先等DOM框架加载完成
    WebDriverWait(driver, timeout).until(
        lambda d: d.execute_script("return document.readyState") == "complete"
    )
    # 2. 再等网络空闲
    wait_for_network_idle(driver, timeout=timeout)
    # 3. 最后等DOM稳定
    wait_for_dom_stable(driver, timeout=timeout)

一些注意事项 #

• 如果你遇到有轮询请求的页面，在方案一中记得过滤掉这些请求（比如根据请求URL包含的特定关键词排除）
• 所有方案都要设置合理的timeout，避免因为页面异常导致无限等待
• 有些页面会有懒加载内容（比如滚动加载），这种情况通用方案可能不适用，需要单独处理懒加载的等待

内容来源于stack exchange