如何通过编程方式获取浏览器WebSocket(WS)标签页的数据

你提到的「无官方文档就很难直接对接WebSocket」的认知并不完全准确，有两类路径可以绕开官方文档实现数据获取：一类是直接通过浏览器模拟的方案，完全复用浏览器的握手、鉴权逻辑，不需要自己实现任何WebSocket交互；另一类是通过抓包反向工程握手参数，自行实现连接。
你之前调研的chrome.devtools.network扩展本质就是Chrome DevTools Protocol（CDP）的扩展层封装，我们直接在程序中调用CDP接口不需要开发浏览器扩展，集成起来更简单。

方案1：基于Puppeteer Sharp实现（最轻量，优先推荐） #

Puppeteer Sharp是C#封装的Headless Chrome工具，内置CDP支持，直接监听浏览器的WebSocket帧事件即可获取数据，不需要处理任何握手、鉴权逻辑：

• 首先通过NuGet安装PuppeteerSharp包
• 参考示例代码实现：

using PuppeteerSharp;

// 首次运行会自动下载匹配版本的Chrome内核
var browser = await Puppeteer.LaunchAsync(new LaunchOptions
{
    Headless = true, // 无头模式，无需显示浏览器窗口
    Args = new[] { "--no-sandbox", "--disable-blink-features=AutomationControlled" } // 第二个参数用于规避反爬检测
});
var page = await browser.NewPageAsync();

// 启用Network调试域
await page.Client.SendAsync("Network.enable");

// 监听WebSocket接收帧事件
page.Client.MessageReceived += (sender, e) =>
{
    if (e.MessageID == "Network.webSocketFrameReceived")
    {
        string wsPayload = e.MessageData["response"]["payloadData"].ToString();
        // 此处直接拿到WS推送的原始数据，可导入你的业务逻辑处理
        Console.WriteLine($"收到WS推送：{wsPayload}");
    }
};

// 导航到目标网站，浏览器会自动完成所有鉴权、WS握手操作
await page.GoToAsync("https://你的目标网站地址");

方案2：基于Selenium + CDP实现（适合已有Selenium技术栈的场景） #

如果你现有业务逻辑已经基于Selenium开发，无需重构架构，直接调用Selenium内置的CDP接口即可实现WS数据监听：

• 首先通过NuGet安装Selenium.WebDriver、Selenium.WebDriver.ChromeDriver包
• 参考示例代码实现：

using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;
using OpenQA.Selenium.DevTools;
using OpenQA.Selenium.DevTools.V118.Network; // 版本号和你安装的Chrome版本对应即可

var chromeOptions = new ChromeOptions();
chromeOptions.AddArgument("--headless=new");
chromeOptions.AddArgument("--disable-blink-features=AutomationControlled");
var driver = new ChromeDriver(chromeOptions);

// 绑定DevTools事件
var devToolsSession = driver.GetDevTools();
await devToolsSession.GetVersionSpecificDomains<DevToolsSessionDomains>().Network.Enable(new EnableCommandSettings());
devToolsSession.GetVersionSpecificDomains<DevToolsSessionDomains>().Network.WebSocketFrameReceived += (sender, eventArgs) =>
{
    string wsPayload = eventArgs.Response.PayloadData;
    // 处理业务逻辑
    Console.WriteLine(wsPayload);
};

// 导航到目标网站
driver.Navigate().GoToUrl("https://你的目标网站地址");

方案3：反向工程握手逻辑自行实现WS连接（适合长期稳定使用场景） #

如果追求最高性能，不想启动浏览器进程，可以抓包反向工程WS握手参数：

• 通过Chrome开发者工具抓WS握手请求，记录所有请求头（包括Cookie、自定义鉴权头、Sec-WebSocket-Protocol等参数）
• 使用C#原生的ClientWebSocket类模拟请求头即可建立连接，无需依赖任何第三方工具
• 缺点是如果网站的鉴权参数有前端加密、或频繁更新规则，后续维护成本较高

• 所有数据抓取操作需遵守目标网站的用户协议、robots规则以及所在地的相关法律法规，仅可抓取已授权的公开数据
• 如果目标网站有反爬机制，可添加额外的浏览器伪装参数、请求间隔控制等逻辑规避检测

内容的提问来源于stack exchange，提问作者AmirSaman