Java+Selenium框架下JS捕获网络流量后JSON处理实现方案
场景下的最优实现方案
方案选型核心逻辑
对比你当前使用的List<Object>循环+字符串contains判断的方式,结构化JSON处理是更稳健的最优选择,原因如下:
- 避免字符串匹配的误判:原逻辑只要字符串里出现
foo/bar文本就会触发命中,可能把请求体包含对应关键词、路径片段匹配错误的请求判定为目标,准确率极低 - 字段提取效率更高:不需要从整段字符串中抠取
name、status等目标值,不会因为JSON格式化的空格、转义字符变化导致匹配失败 - 结构可扩展:后续需要新增捕获字段(如请求头、响应体、请求参数)时,只需要调整JS返回结构和Java侧的映射即可,不需要重写遍历逻辑
分步骤实现(JSON结构化处理全流程)
1. 优化JS捕获脚本
你当前使用的performance.getEntries()仅能获取资源加载的时序、URL、大小等元数据,无法拿到业务校验需要的响应内容。可以直接在脚本内补充fetch/XHR拦截逻辑,在测试方法内完成全量捕获,不需要依赖外部代理:
// 定义需要捕获的目标请求路径 const targetPaths = ["/foo", "/bar"]; // 全局存储拦截到的响应内容 window.__capturedBodies = window.__capturedBodies || []; // 拦截fetch请求 const originalFetch = window.fetch; window.fetch = async (...args) => { const response = await originalFetch(...args); const clonedResp = response.clone(); // 匹配到目标路径的请求,提取结构化内容 if (targetPaths.some(path => args[0].toString().includes(path))) { const respText = await clonedResp.text(); window.__capturedBodies.push({ url: args[0].toString(), status: response.status, responseBody: respText }); } return response; }; // 提取Performance API的元数据 const perfEntries = window.performance.getEntries() || []; const matchedPerfData = perfEntries .filter(entry => targetPaths.some(path => entry.name.includes(path))) .map(entry => ({ url: entry.name, resourceType: entry.initiatorType, durationMs: entry.duration, transferredSize: entry.transferSize })); // 返回结构化JSON结果 return JSON.stringify({ perfData: matchedPerfData, responseData: window.__capturedBodies });
注意:该拦截脚本需要在页面导航、业务逻辑执行前通过Selenium注入,建议使用CDP的
addScriptToEvaluateOnNewDocument方法,避免漏掉页面加载初期发起的请求。
2. Java侧JSON解析与字段提取
你已经在项目中引入了Gson,不需要额外新增依赖,直接将返回的JSON字符串映射为强类型对象即可,不需要手动遍历JSON树节点:
- 首先定义与JS返回结构对应的POJO类:
public class CapturedNetworkData { private List<PerfEntry> perfData; private List<ResponseContent> responseData; // 省略getter/setter public static class PerfEntry { private String url; private String resourceType; private double durationMs; private long transferredSize; // 省略getter/setter } public static class ResponseContent { private String url; private int status; private String responseBody; // 省略getter/setter } }
- 编写测试方法内的提取逻辑,通过流式操作精准定位目标内容:
JavascriptExecutor js = (JavascriptExecutor) driver; // 执行优化后的捕获脚本 String jsonResult = (String) js.executeScript(/* 上面的JS脚本 */); // 直接反序列化得到结构化对象 Gson gson = new Gson(); CapturedNetworkData networkData = gson.fromJson(jsonResult, CapturedNetworkData.class); // 提取foo接口的响应 CapturedNetworkData.ResponseContent fooResp = networkData.getResponseData().stream() .filter(item -> item.getUrl().contains("/foo")) .findFirst() .orElse(null); if (fooResp != null) { // 拿到响应内容后可直接存入S3,开展后续数据库校验 String fooPayload = fooResp.getResponseBody(); int fooStatus = fooResp.getStatus(); } // 提取bar接口的响应 CapturedNetworkData.ResponseContent barResp = networkData.getResponseData().stream() .filter(item -> item.getUrl().contains("/bar")) .findFirst() .orElse(null); if (barResp != null) { String barPayload = barResp.getResponseBody(); }
实现注意事项
- 不要硬写手动遍历
JsonElement树的逻辑:强类型反序列化的代码可读性、可维护性远高于手动逐层找节点,出问题排查成本更低 - 捕获完成后可以直接将整个
networkData对象序列化后存入S3,不需要拆分成零散字符串,后续读取时可直接反序列化还原结构 - 如果需要捕获XHR(非fetch发起的请求),可在JS脚本中补充
XMLHttpRequest原型方法的重写逻辑,覆盖全量请求类型
内容的提问来源于stack exchange,提问作者user2195411
相关产品推荐
相关产品推荐

