C#如何获取动态服务端加载的完整HTML列表数据，与Chrome开发者工具内容一致

方案1：使用Puppeteer Sharp（推荐，完全匹配你的伪代码需求） #

这是基于Chrome DevTools协议的C#封装，可直接启动Chrome实例，等待页面所有JS执行、异步接口请求完成后拉取完整渲染后的HTML，和你在Chrome开发者工具中看到的内容完全一致。

• 第一步：NuGet安装依赖包
  Install-Package PuppeteerSharp
• 第二步：对应你伪代码的可运行实现

using PuppeteerSharp;
using System.Threading.Tasks;

public async Task<string> GetFullyRenderedHtml(string url)
{
    // 首次运行会自动下载匹配版本的Chrome，无需手动安装
    await new BrowserFetcher().DownloadAsync();
    
    // 启动浏览器，Headless=true为无窗口后台运行，false可弹出Chrome窗口方便调试
    await using var browser = await Puppeteer.LaunchAsync(new LaunchOptions { Headless = true });
    await using var page = await browser.NewPageAsync();
    
    // 加载页面，等待所有网络请求完成
    await page.GoToAsync(url, WaitUntilNavigation.Networkidle0);
    
    // 可选配置：如果列表是延迟异步渲染的，可额外等待目标列表元素出现，替换下面的选择器为你要抓取的列表CSS选择器即可
    // await page.WaitForSelectorAsync(".target-list-item", new WaitForSelectorOptions { Timeout = 10000 });
    
    // 获取完整渲染后的HTML
    var html = await page.GetContentAsync();
    await browser.CloseAsync();
    return html;
}

调用时执行var html = await GetFullyRenderedHtml("目标网站地址");即可拿到符合要求的HTML内容，后续直接用HTMLAgilityPack解析提取数据即可。

方案2：CefSharp极简修复方案（如果你更倾向使用CefSharp） #

之前调不通大概率是没处理异步加载等待逻辑，下面是最小可用实现：

• 第一步：NuGet安装CefSharp.OffScreen（无窗口版本，无需弹出界面）
• 第二步：实现代码

using CefSharp;
using CefSharp.OffScreen;
using System.Threading.Tasks;

public async Task<string> GetCefSharpRenderedHtml(string url)
{
    // CEF全局初始化仅需执行一次
    if (!Cef.IsInitialized)
    {
        var settings = new CefSettings();
        Cef.Initialize(settings);
    }
    
    using var browser = new ChromiumWebBrowser(url);
    // 等待页面基础加载完成
    await browser.WaitForInitialLoadAsync();
    // 可根据页面渲染速度调整延迟时长，也可通过执行JS判断目标元素是否存在替代固定延迟
    await Task.Delay(2000);
    var html = await browser.GetSourceAsync();
    Cef.Shutdown();
    return html;
}

其他补充说明 #

• 如果目标网站有反爬检测，可给浏览器配置正常的User-Agent、移除无头浏览器标记避免被拦截
• 提取数据后导出Excel可直接用EPPlus、NPOI等常用库实现

内容的提问来源于stack exchange，提问作者dani_a_cruel_killer