如何在Python+Selenium测试脚本中捕获前端JS发起的GET请求URL

要实现自动化捕获前端页面加载时的REST请求URL，核心方案是利用Chrome DevTools Protocol（CDP），通过Selenium的DevTools接口监听网络请求事件，无需硬编码目标URL。以下是具体实现步骤和代码：

核心思路 #

通过Selenium调用Chrome浏览器的DevTools功能，启用网络请求监听，捕获页面加载过程中所有网络请求，再通过过滤规则筛选出目标后端的REST请求。

完整代码示例 #

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 配置Chrome浏览器选项
chrome_options = Options()
chrome_options.add_argument("--start-maximized")

# 初始化浏览器（替换为你的chromedriver路径）
driver = webdriver.Chrome(service=Service("./chromedriver"), options=chrome_options)

# 启用DevTools网络监控
driver.execute_cdp_cmd("Network.enable", {})

# 存储捕获到的目标请求URL
target_request_urls = []

# 定义请求捕获回调函数
def capture_rest_requests(event):
    request_data = event["params"]["request"]
    # 过滤后端域名的请求，可根据需求添加更精确的规则（比如请求方法、路径前缀）
    if "localhost:8888/BE_project_v1.2" in request_data["url"]:
        target_request_urls.append(request_data["url"])

# 绑定请求完成事件监听器
driver.add_cdp_listener("Network.requestFinished", capture_rest_requests)

# 加载目标前端页面
driver.get("http://localhost:8080/FE_page_1")

# 用显式等待替代固定延时，确保页面和请求加载完成（示例：等待页面某个元素出现）
WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.TAG_NAME, "body"))
)

# 输出捕获到的REST请求URL
print("捕获到的后端REST请求URL：")
for url in target_request_urls:
    print(f"- {url}")

# 清理资源
driver.execute_cdp_cmd("Network.disable", {})
driver.quit()

关键细节说明 #

• CDP事件选择：使用Network.requestFinished事件，确保捕获的是已完成的有效请求，避免捕获未完成或失败的请求。
• 过滤规则：通过判断URL包含后端域名标识筛选目标请求，可扩展为检查请求方法（如request_data["method"] == "POST"）、路径前缀等，提升精准度。
• 等待策略：用显式等待替代time.sleep，根据页面实际加载情况设置等待条件，比固定延时更可靠。
• 版本兼容：确保ChromeDriver版本与本地Chrome浏览器版本一致，否则可能出现CDP接口调用失败的问题。

内容的提问来源于stack exchange，提问作者web_noob