C# 实现每秒抓取已打开Chrome/Firefox浏览器HTML的方法咨询

方案1：复用浏览器自带远程调试端口（推荐优先采用） #

• 实现逻辑：启动Chrome/Firefox时附带指定的远程调试启动参数，浏览器会自动在本机开放调试服务端口，C#程序直接通过标准调试协议和端口通信，拉取当前标签页的完整HTML。Chrome对应启动参数为--remote-debugging-port=9222、--remote-allow-origins=*，Firefox对应启动参数为-start-debugger-server 9222，两类浏览器的调试接口通信逻辑完全一致，可直接复用C#端的处理代码。
• 具体操作流程：
  • 所有页面的渲染、H.264摄像头流解码完全由用户实际打开的浏览器进程完成，C#程序不参与页面渲染，从根源上规避CEFSharp对H.264流的兼容问题
  • C#端通过HTTP请求访问http://localhost:9222/json，即可枚举所有打开的标签页，拿到目标页面的WebSocket调试地址
  • 建立WebSocket连接后，发送执行脚本指令Runtime.evaluate，传入执行代码document.documentElement.outerHTML，即可一次性拿到页面完整的DOM文本
  • 按照1秒的固定间隔循环执行上述抓取流程，拿到的HTML直接传入C#的关键信息提取模块即可
• 适配性说明：
  • 所有页面请求的User-Agent、会话Cookie、缓存全是真实浏览器的原生标识，完全不会被网站判定为旧版本内核，不存在WPF内置WebBrowser被拦截的问题
  • 单次HTML抓取的接口响应耗时通常在10ms以内，整体性能开销极低，不会影响浏览器本身播放摄像头流的流畅度，完全满足每秒一次的执行频率要求

方案2：轻量浏览器扩展配套本地通信 #

• 实现逻辑：给目标浏览器开发一个体积在100KB以内的轻量扩展，扩展原生具备读取当前标签页DOM结构的权限，定时把抓取到的HTML推送到C#程序监听的本地端口
• 适配场景：如果遇到新版Chrome对远程调试端口的连接限制、不想让用户每次启动浏览器都手动加参数，可以选择该方案
• 实现要点：
  • 扩展端只需要写两段核心逻辑：每秒读取当前激活标签的完整HTML、把内容通过本地HTTP请求发送到C#侧的监听地址
  • 同样因为扩展运行在真实浏览器环境内，完全继承浏览器的H.264解码能力、UA标识，不存在旧控件的兼容问题

避坑提醒 #

• 不要用UI自动化模拟复制、右键查看源代码的方式抓HTML：这类方式会受页面焦点抢占、弹窗遮挡的影响，稳定性极差，抓取的内容会丢失原始DOM结构，无法支撑精准的关键信息提取
• 轮询频率不要高于每秒1次：每次完整读取HTML都会触发浏览器的DOM序列化操作，频率过高会导致页面卡顿、摄像头流掉帧
• 不需要在C#程序中单独维护登录态：直接复用已打开浏览器的会话，即可避免登录过期、验证码拦截等额外问题

内容的提问来源于stack exchange，提问作者Kevin Plaul