Python版Selenium中如何等待特定网络请求完成？

Selenium本身没有内置的waitForNetworkRequest方法，但可以通过**Chrome DevTools Protocol（CDP）**结合Selenium 4+的CDP支持，实现监听并等待特定网络请求完成的逻辑。下面是具体的实现方案：

核心思路 #

1. 通过CDP开启网络监控，捕获页面发起的所有网络请求和响应事件
2. 监听响应完成事件，记录符合目标URL的请求状态
3. 结合WebDriverWait实现等待逻辑，直到目标请求标记为完成

代码实现 #

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.common.exceptions import TimeoutException

def wait_for_network_request(driver, target_url, timeout=10):
    # 启用CDP网络监控
    driver.execute_cdp_cmd("Network.enable", {})
    
    completed_requests = []

    # 监听响应完成事件
    def handle_response(event):
        request_url = event["response"]["url"]
        # 匹配目标URL（可根据需求改为精确匹配）
        if target_url in request_url:
            completed_requests.append(request_url)
    
    # 添加事件监听器
    driver.add_cdp_listener("Network.responseReceived", handle_response)

    try:
        # 等待目标请求完成
        WebDriverWait(driver, timeout).until(
            lambda d: len(completed_requests) > 0
        )
        print(f"目标请求 {target_url} 已完成")
    except TimeoutException:
        print(f"超时：未捕获到目标请求 {target_url} 的完成事件")
    finally:
        # 移除监听器并关闭网络监控
        driver.remove_cdp_listener("Network.responseReceived", handle_response)
        driver.execute_cdp_cmd("Network.disable", {})

# 使用示例
if __name__ == "__main__":
    driver = webdriver.Chrome()
    driver.get("https://www.somesite.com")
    # 等待指定外部请求完成
    wait_for_network_request(driver, "https://www.othersite.com")
    # 后续操作
    driver.quit()

关键说明 #

• URL匹配逻辑：示例中用target_url in request_url做包含匹配，如果你需要精确匹配，可以改为request_url == target_url
• 事件选择：Network.responseReceived事件表示服务器已返回响应，即请求完成；如果需要等待请求发送阶段，可以监听Network.requestWillBeSent
• 版本要求：确保使用Selenium 4.0及以上版本，旧版本对CDP的支持有限
• 超时设置：timeout参数可根据实际页面加载速度调整，避免无限等待

内容的提问来源于stack exchange，提问作者Joshua Stowell