使用Selenium如何获取指定网页XHR接口返回的JSON响应内容
抓取Bitclout探索站目标XHR接口响应的实现步骤
你已经完成了Selenium初始化、访问目标探索站页面的基础操作,实际需求是获取页面加载过程中触发的https://api.bitclout.com/api/v1/block接口的原始返回内容,和浏览器开发者工具XHR标签页中展示的内容完全一致:
这种方式拿到的响应不会被前端页面的渲染逻辑加工修改,和开发者工具中看到的原始返回完全匹配
方案1:通过Selenium内置网络能力捕获已加载的接口响应
你当前编写的基础代码如下:
from selenium.webdriver import Chrome driver = Chrome() url = 'https://explorer.bitclout.com/?query-node=https:%2F%2Fapi.bitclout.com&block-height=0' driver.get(url)
这套代码的基础上,需要先调整驱动初始化配置,开启性能日志采集权限(默认状态下Selenium无法读取网络请求数据),后续操作步骤为:
- 替换原有的驱动初始化代码,加入性能日志配置:
from selenium.webdriver import Chrome from selenium.webdriver.chrome.options import ChromeOptions import json # 配置Chrome开启全量性能日志采集 chrome_options = ChromeOptions() chrome_options.set_capability("goog:loggingPrefs", {"performance": "ALL"}) driver = Chrome(options=chrome_options) target_url = 'https://explorer.bitclout.com/?query-node=https:%2F%2Fapi.bitclout.com&block-height=0' driver.get(target_url) # 等待页面触发目标XHR请求 driver.implicitly_wait(10)
- 页面加载完成后,遍历采集到的性能日志,匹配目标接口的请求ID,拉取完整响应内容:
# 筛选匹配目标接口的日志条目 for log_item in driver.get_log("performance"): log_content = json.loads(log_item["message"])["message"] # 定位接口响应完成的事件节点 if log_content["method"] == "Network.responseReceived": req_url = log_content["params"]["response"]["url"] # 精准匹配目标block接口地址 if req_url == "https://api.bitclout.com/api/v1/block": req_id = log_content["params"]["requestId"] # 通过CDP命令拉取对应请求的完整响应体 resp_data = driver.execute_cdp_cmd( "Network.getResponseBody", {"requestId": req_id} ) # 解析为可用的JSON格式 block_json = json.loads(resp_data["body"]) print(block_json)
方案2:直接模拟前端请求获取接口数据
如果不需要绑定浏览器渲染流程,可以跳过Selenium加载页面前置步骤,直接按照前端请求的参数规则调用目标接口,抓取效率更高:
- 该接口为POST请求,需要携带和探索站页面参数一致的请求体(和页面URL中
block-height=0的参数对应),构造完成请求后即可直接获取返回的JSON数据,不需要依赖浏览器环境。
内容的提问来源于stack exchange,提问作者Taimorr Mughal
相关产品推荐
相关产品推荐

