使用Selenium4结合CDP捕获XHR时部分响应体获取失败问题咨询

错误原因 #

• 响应体未完成加载就调用获取接口：ResponseReceived事件仅代表浏览器收到了响应头和状态码，此时响应体可能还在传输中，浏览器尚未将完整资源缓存到本地，直接调用getResponseBody就会返回无数据错误。
• 事件解绑过早：你执行完登录、跳转私信页的操作后立刻解绑了ResponseReceived事件，此时仍有未完成加载的XHR请求，后续即使加载完成也不会触发处理逻辑，且部分请求对应的资源会因为页面跳转、浏览器GC被清理，后续调用接口时请求ID已经失效。
• 特殊请求本身无响应体：OPTIONS预检请求、204无内容响应、重定向中间请求本身没有响应体，调用getResponseBody必然报错。
• CDP版本与浏览器版本不匹配：代码中写死了V93版本的CDP协议实现，如果你的Chrome浏览器大版本不是93，也会偶发资源标识符识别异常。

修复方案 #

1. 替换触发获取响应体的时机，不再监听ResponseReceived事件直接调用接口，改为同时监听ResponseReceived和LoadingFinished事件：ResponseReceived事件中仅存储XHR请求的元数据（请求ID、URL、状态码等），LoadingFinished事件触发时代表资源已经完整加载完成，此时再调用getResponseBody获取响应体。
2. 延迟解绑事件的时机，页面操作完成后增加3-5秒的等待，或者直到所有待处理的XHR请求都触发了LoadingFinished事件后再解绑，避免未完成的请求被丢弃。
3. 增加特殊请求过滤逻辑，遇到OPTIONS类型、204状态码的请求直接跳过响应体获取步骤，可在异常逻辑中增加1-2次延迟重试，避免偶发网络延迟导致的获取失败。
4. 不要写死CDP版本，使用Selenium内置的自动版本匹配逻辑适配当前Chrome浏览器的版本。

核心代码调整示例 #

// 新增存储待处理XHR元数据的字典
private static ConcurrentDictionary<string, DevToolsVer.Network.ResponseReceivedEventArgs> PendingXhr = new();

private static async Task Main()
{
    // ... 原有初始化逻辑不变
    await Domains.Network.Enable(new DevToolsVer.Network.EnableCommandSettings());

    CollectionXHR = new ConcurrentBag<Task<Response>>();

    // 绑定两个事件
    Domains.Network.ResponseReceived += ResponseReceived;
    Domains.Network.LoadingFinished += LoadingFinished;

    Instagram("username", "password");

    // 增加等待，确保所有XHR加载完成
    await Task.Delay(5000);

    // 确认所有待处理请求都处理完成
    while (PendingXhr.Count > 0)
    {
        await Task.Delay(100);
    }

    // 再解绑事件
    Domains.Network.ResponseReceived -= ResponseReceived;
    Domains.Network.LoadingFinished -= LoadingFinished;

    Task.WaitAll(CollectionXHR.ToArray());
    // ... 原有日志逻辑不变
}

private static void ResponseReceived(object sender, DevToolsVer.Network.ResponseReceivedEventArgs e)
{
    if (e.Type == DevToolsVer.Network.ResourceType.XHR)
    {
        // 过滤无响应体的特殊请求
        if (e.Response.Status == 204 || e.Request.Method == "OPTIONS")
        {
            return;
        }
        PendingXhr.TryAdd(e.RequestId, e);
    }
}

private static async void LoadingFinished(object sender, DevToolsVer.Network.LoadingFinishedEventArgs e)
{
    if (PendingXhr.TryRemove(e.RequestId, out var respEvent))
    {
        CollectionXHR.Add(GetResponseBodyAsync(respEvent));
    }
}

内容的提问来源于stack exchange，提问作者Mr. Kama