C# Selenium ChromeDriver异步请求实现及PuppeteerSharp性能优化咨询

针对你遇到的三个核心问题，我来逐一给出具体的解决思路和代码示例：

1. 单Selenium实例下异步处理Ajax请求（保持会话） #

Selenium的WebDriver本身是单线程阻塞的（每个命令都需要等待浏览器响应），但我们可以利用浏览器原生的异步能力（Promise）来并行执行多个Ajax请求，同时保持会话状态。

核心思路是：通过ExecuteAsyncScript注入一段JavaScript，用Promise.all并行发送多个Ajax请求，最后一次性返回所有结果。这样浏览器端是并行处理的，而Selenium只需要等待一次，避免了请求排队。

代码示例 #

ChromeDriver _driver = (ChromeDriver)System.Web.HttpContext.Current.Session["ChromeDriver"]; 
if (_driver != null) { 
    _driver.Manage().Timeouts().AsynchronousJavaScript = TimeSpan.FromSeconds(30);

    // 构造并行请求的脚本：用Promise.all同时发送多个Ajax请求
    var parallelAjaxScript = @"
        var callback = arguments[arguments.length - 1];
        // 替换成你的多个请求URL和参数
        var requests = [
            fetch('" + url1 + @"', { 
                method: 'GET', 
                credentials: 'include' // 带上会话Cookie，保持登录状态
            }).then(res => res.text()),
            fetch('" + url2 + @"', { 
                method: 'POST', 
                credentials: 'include',
                body: JSON.stringify(yourParams),
                headers: { 'Content-Type': 'application/json' }
            }).then(res => res.text())
        ];
        // 等待所有请求完成，返回结果数组
        Promise.all(requests).then(results => callback(results));
    ";

    // 执行异步脚本，获取所有请求结果
    var allResults = (IList<string>)((IJavaScriptExecutor)_driver).ExecuteAsyncScript(parallelAjaxScript);
    
    // 遍历处理每个结果
    foreach(var result in allResults) {
        Debug.WriteLine("-- Response fetched: " + result.Substring(0, 50) + "...");
    }
}

注意事项：

• 必须添加credentials: 'include'，确保请求携带登录会话的Cookie，避免丢失登录状态。
• 如果请求需要特定的Headers或参数，直接在fetch中配置即可，和前端JS写法一致。
• 不要在并行请求期间执行其他WebDriver命令（如点击、导航），避免干扰异步脚本的执行。

2. Selenium vs PuppeteerSharp的速度差异 #

你观察到Selenium更快是正常的，原因主要有两点：

• 协议与封装开销：Selenium的ChromeDriver基于WebDriver协议，而PuppeteerSharp是对Chrome DevTools Protocol（CDP）的C#封装，额外的序列化/反序列化步骤会增加开销。Node.js版Puppeteer因为是原生与CDP交互，确实会比C#版更高效，但和Selenium的速度对比要看具体场景。
• 操作优化：Selenium的某些基础操作（如获取URL）做了针对性优化，而PuppeteerSharp的API设计更偏向全功能的浏览器控制，可能在简单操作上有额外开销。

如果当前Selenium的速度满足需求，继续使用即可；如果需要更好的并行能力，建议尝试Playwright for .NET（微软官方维护），它基于CDP，API更简洁，并行处理能力更强，性能优于PuppeteerSharp，且和Selenium的语法有一定兼容性。

3. 多Chrome Driver实例性能下降的解决方案 #

当Chrome实例增多时，系统资源（内存、CPU、网络）会被快速耗尽，导致每个实例的处理速度急剧下降。解决思路如下：

（1）使用Driver连接池，限制并发实例数 #

不要给每个用户分配单独的Driver，而是创建一个固定大小的连接池，复用Driver实例：

• 初始化时创建3-4个Driver实例（根据服务器资源调整），存入池。
• 用户请求来临时，从池中取出空闲的Driver，用完后放回池。
• 当池满时，请求排队等待，避免无限制创建实例。

（2）优化Chrome启动参数，减少资源占用 #

启动Chrome时添加以下参数，大幅降低每个实例的内存和CPU开销：

var options = new ChromeOptions();
options.AddArguments(
    "--headless=new", // 新版无头模式，比旧版更轻量
    "--disable-gpu",
    "--disable-images", // 如果不需要加载图片，可禁用
    "--disable-extensions",
    "--no-sandbox",
    "--disable-dev-shm-usage", // 解决Linux下共享内存不足的问题
    "--disable-background-timer-throttling",
    "--disable-backgrounding-occluded-windows"
);
var driver = new ChromeDriver(options);

（3）替换为更轻量的方案（如果可行） #

如果你的需求只是爬取Ajax数据，优先考虑直接用HttpClient调用目标API：

• 通过浏览器抓包获取Ajax请求的URL、Headers、参数和Cookie。
• 用HttpClient发送请求，带上登录后的Cookie，完全不需要启动浏览器，性能提升10-100倍。
• 只有当目标API有复杂的签名验证或依赖JS渲染时，才需要用浏览器工具。

（4）服务器资源扩容 #

如果以上优化后仍无法满足需求，考虑升级服务器配置（增加CPU核心数、内存），或者采用分布式架构，把爬取任务分散到多个服务器节点。

内容的提问来源于stack exchange，提问作者user1400290