You need to enable JavaScript to run this app. Java+Selenium框架下JS捕获网络流量后JSON处理实现方案
优惠活动
大模型
产品
解决方案
定价
更多

Java+Selenium框架下JS捕获网络流量后JSON处理实现方案

场景下的最优实现方案

方案选型核心逻辑

对比你当前使用的List<Object>循环+字符串contains判断的方式,结构化JSON处理是更稳健的最优选择,原因如下:

  • 避免字符串匹配的误判:原逻辑只要字符串里出现foo/bar文本就会触发命中,可能把请求体包含对应关键词、路径片段匹配错误的请求判定为目标,准确率极低
  • 字段提取效率更高:不需要从整段字符串中抠取name、status等目标值,不会因为JSON格式化的空格、转义字符变化导致匹配失败
  • 结构可扩展:后续需要新增捕获字段(如请求头、响应体、请求参数)时,只需要调整JS返回结构和Java侧的映射即可,不需要重写遍历逻辑

分步骤实现(JSON结构化处理全流程)

1. 优化JS捕获脚本

你当前使用的performance.getEntries()仅能获取资源加载的时序、URL、大小等元数据,无法拿到业务校验需要的响应内容。可以直接在脚本内补充fetch/XHR拦截逻辑,在测试方法内完成全量捕获,不需要依赖外部代理:

// 定义需要捕获的目标请求路径
const targetPaths = ["/foo", "/bar"];
// 全局存储拦截到的响应内容
window.__capturedBodies = window.__capturedBodies || [];

// 拦截fetch请求
const originalFetch = window.fetch;
window.fetch = async (...args) => {
  const response = await originalFetch(...args);
  const clonedResp = response.clone();
  // 匹配到目标路径的请求,提取结构化内容
  if (targetPaths.some(path => args[0].toString().includes(path))) {
    const respText = await clonedResp.text();
    window.__capturedBodies.push({
      url: args[0].toString(),
      status: response.status,
      responseBody: respText
    });
  }
  return response;
};

// 提取Performance API的元数据
const perfEntries = window.performance.getEntries() || [];
const matchedPerfData = perfEntries
  .filter(entry => targetPaths.some(path => entry.name.includes(path)))
  .map(entry => ({
    url: entry.name,
    resourceType: entry.initiatorType,
    durationMs: entry.duration,
    transferredSize: entry.transferSize
  }));

// 返回结构化JSON结果
return JSON.stringify({
  perfData: matchedPerfData,
  responseData: window.__capturedBodies
});

注意:该拦截脚本需要在页面导航、业务逻辑执行前通过Selenium注入,建议使用CDP的addScriptToEvaluateOnNewDocument方法,避免漏掉页面加载初期发起的请求。

2. Java侧JSON解析与字段提取

你已经在项目中引入了Gson,不需要额外新增依赖,直接将返回的JSON字符串映射为强类型对象即可,不需要手动遍历JSON树节点:

  • 首先定义与JS返回结构对应的POJO类:
public class CapturedNetworkData {
    private List<PerfEntry> perfData;
    private List<ResponseContent> responseData;

    // 省略getter/setter
    public static class PerfEntry {
        private String url;
        private String resourceType;
        private double durationMs;
        private long transferredSize;
        // 省略getter/setter
    }

    public static class ResponseContent {
        private String url;
        private int status;
        private String responseBody;
        // 省略getter/setter
    }
}
  • 编写测试方法内的提取逻辑,通过流式操作精准定位目标内容:
JavascriptExecutor js = (JavascriptExecutor) driver;
// 执行优化后的捕获脚本
String jsonResult = (String) js.executeScript(/* 上面的JS脚本 */);
// 直接反序列化得到结构化对象
Gson gson = new Gson();
CapturedNetworkData networkData = gson.fromJson(jsonResult, CapturedNetworkData.class);

// 提取foo接口的响应
CapturedNetworkData.ResponseContent fooResp = networkData.getResponseData().stream()
    .filter(item -> item.getUrl().contains("/foo"))
    .findFirst()
    .orElse(null);
if (fooResp != null) {
    // 拿到响应内容后可直接存入S3,开展后续数据库校验
    String fooPayload = fooResp.getResponseBody();
    int fooStatus = fooResp.getStatus();
}

// 提取bar接口的响应
CapturedNetworkData.ResponseContent barResp = networkData.getResponseData().stream()
    .filter(item -> item.getUrl().contains("/bar"))
    .findFirst()
    .orElse(null);
if (barResp != null) {
    String barPayload = barResp.getResponseBody();
}

实现注意事项

  • 不要硬写手动遍历JsonElement树的逻辑:强类型反序列化的代码可读性、可维护性远高于手动逐层找节点,出问题排查成本更低
  • 捕获完成后可以直接将整个networkData对象序列化后存入S3,不需要拆分成零散字符串,后续读取时可直接反序列化还原结构
  • 如果需要捕获XHR(非fetch发起的请求),可在JS脚本中补充XMLHttpRequest原型方法的重写逻辑,覆盖全量请求类型

内容的提问来源于stack exchange,提问作者user2195411

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 18:36:07