You need to enable JavaScript to run this app. 使用Selenium如何获取指定网页XHR接口返回的JSON响应内容
优惠活动
大模型
产品
解决方案
定价
更多

使用Selenium如何获取指定网页XHR接口返回的JSON响应内容

抓取Bitclout探索站目标XHR接口响应的实现步骤

你已经完成了Selenium初始化、访问目标探索站页面的基础操作,实际需求是获取页面加载过程中触发的https://api.bitclout.com/api/v1/block接口的原始返回内容,和浏览器开发者工具XHR标签页中展示的内容完全一致:
需求截图

这种方式拿到的响应不会被前端页面的渲染逻辑加工修改,和开发者工具中看到的原始返回完全匹配

方案1:通过Selenium内置网络能力捕获已加载的接口响应

你当前编写的基础代码如下:

from selenium.webdriver import Chrome
driver = Chrome()
url = 'https://explorer.bitclout.com/?query-node=https:%2F%2Fapi.bitclout.com&block-height=0'
driver.get(url)

这套代码的基础上,需要先调整驱动初始化配置,开启性能日志采集权限(默认状态下Selenium无法读取网络请求数据),后续操作步骤为:

  • 替换原有的驱动初始化代码,加入性能日志配置:
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import ChromeOptions
import json

# 配置Chrome开启全量性能日志采集
chrome_options = ChromeOptions()
chrome_options.set_capability("goog:loggingPrefs", {"performance": "ALL"})
driver = Chrome(options=chrome_options)

target_url = 'https://explorer.bitclout.com/?query-node=https:%2F%2Fapi.bitclout.com&block-height=0'
driver.get(target_url)
# 等待页面触发目标XHR请求
driver.implicitly_wait(10)
  • 页面加载完成后,遍历采集到的性能日志,匹配目标接口的请求ID,拉取完整响应内容:
# 筛选匹配目标接口的日志条目
for log_item in driver.get_log("performance"):
    log_content = json.loads(log_item["message"])["message"]
    # 定位接口响应完成的事件节点
    if log_content["method"] == "Network.responseReceived":
        req_url = log_content["params"]["response"]["url"]
        # 精准匹配目标block接口地址
        if req_url == "https://api.bitclout.com/api/v1/block":
            req_id = log_content["params"]["requestId"]
            # 通过CDP命令拉取对应请求的完整响应体
            resp_data = driver.execute_cdp_cmd(
                "Network.getResponseBody",
                {"requestId": req_id}
            )
            # 解析为可用的JSON格式
            block_json = json.loads(resp_data["body"])
            print(block_json)

方案2:直接模拟前端请求获取接口数据

如果不需要绑定浏览器渲染流程,可以跳过Selenium加载页面前置步骤,直接按照前端请求的参数规则调用目标接口,抓取效率更高:

  • 该接口为POST请求,需要携带和探索站页面参数一致的请求体(和页面URL中block-height=0的参数对应),构造完成请求后即可直接获取返回的JSON数据,不需要依赖浏览器环境。

内容的提问来源于stack exchange,提问作者Taimorr Mughal

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.25 05:45:06