如何使用Selenium提取Chrome开发者工具Network面板内容
原有尝试代码的问题定位
- 脚本语法错误:JS严格区分大小写,第二版代码中写的
Return window.performance.getEntries();因关键字大小写错误直接触发脚本语法异常,无任何有效返回 - 类型转换逻辑缺陷:Selenium的
IJavaScriptExecutor.ExecuteScript()返回值为适配后的.NET对象(通常是ReadOnlyCollection<object>格式的集合),直接调用.ToString()只会输出类型全名,无法得到预期的JSON格式字符串 - 数据覆盖范围不足:原生
performance.getEntries()仅能获取满足Web Resource Timing API规则的条目,无法完整覆盖Network面板记录的全部请求链路(如重定向细节、跨域拦截、动态XHR请求等),和DevTools展示逻辑不对齐 - 执行时机不当:导航到目标URL后未等待页面加载完成就执行脚本,此时性能条目尚未完成采集,自然返回空集合
可行的替代实现方案
轻量修正版(基于Web Performance API)
该方案无需额外依赖,仅修正原有代码的逻辑缺陷即可实现基础的网络条目采集:
// 初始化ChromeDriver,配置页面加载超时 var driver = new ChromeDriver(@"C:\Users\xxx\Downloads\chromedriver_win32"); driver.Manage().Timeouts().PageLoad = TimeSpan.FromSeconds(30); driver.Navigate().GoToUrl("https://google.com"); // 修正脚本逻辑:直接在JS端完成JSON序列化,避免.NET端类型转换问题 string script = @" const performance = window.performance || window.mozPerformance || window.msPerformance || window.webkitPerformance || {}; return JSON.stringify(performance.getEntries() || []); "; string netData = (string)((IJavaScriptExecutor)driver).ExecuteScript(script); Console.WriteLine(netData);
方案核心改动:
- JS端通过
JSON.stringify()将采集到的性能条目直接序列化为字符串返回,.NET端直接接收字符串类型结果,彻底解决类型转换导致的空值/乱码问题 - 修正JS关键字大小写错误,保证脚本可以正常解析执行
- 补充页面加载超时配置,预留足够的资源条目采集时间
全量对齐Network面板的CDP实现
该方案基于Selenium内置的Chrome DevTools Protocol接口,直接调用Chrome原生调试能力采集网络请求,采集结果和开发者工具Network面板数据源100%对齐:
var driver = new ChromeDriver(@"C:\Users\xxx\Downloads\chromedriver_win32"); // 初始化CDP调试会话 var devTools = driver.GetDevToolsSession(); // 启用Network域采集能力 devTools.Domains.Network.Enable(new NetworkEnableCommandSettings()); // 定义集合存储全量网络请求条目 var networkRequests = new List<Dictionary<string, object>>(); // 监听请求发送事件 devTools.Domains.Network.RequestWillBeSent += (sender, e) => { networkRequests.Add(new Dictionary<string, object> { {"requestId", e.RequestId}, {"url", e.Request.Url}, {"method", e.Request.Method}, {"resourceType", e.Type.ToString()}, {"startTimestamp", e.Timestamp} }); }; // 监听请求响应事件 devTools.Domains.Network.ResponseReceived += (sender, e) => { var requestItem = networkRequests.FirstOrDefault(x => x["requestId"].ToString() == e.RequestId); if (requestItem != null) { requestItem["statusCode"] = e.Response.Status; requestItem["mimeType"] = e.Response.MimeType; requestItem["remoteEndPoint"] = e.Response.RemoteAddress; } }; // 导航到目标页面,等待所有请求完成采集 driver.Navigate().GoToUrl("https://google.com"); Thread.Sleep(2000); // 输出为标准JSONArray格式 string jsonArrayOutput = JsonSerializer.Serialize(networkRequests); Console.WriteLine(jsonArrayOutput);
方案优势:
- 无漏采:覆盖Network面板记录的所有请求类型、链路信息,不受Web Performance API的接口限制
- 高稳定:基于Chrome原生调试协议实现,不需要额外注入前端脚本,不存在跨域、脚本执行时机导致的采集失败问题
- 可扩展:可通过CDP接口扩展获取请求头、响应内容、Cookie传递等更细粒度的网络信息
内容的提问来源于stack exchange,提问作者ReginaA
相关产品推荐
相关产品推荐

