.NET如何编程获取浏览器渲染后可另存的HTML代码

问题背景 #

直接使用HtmlDocument.Load()、wget、.NET HttpClient/WebClient只能获取服务器返回的静态HTML源码，无法得到浏览器执行JavaScript后渲染完成的最终页面内容（即Chrome/Opera等浏览器「另存为」保存的HTML）。测试代码如下（F#）：

let myHtml =         
    async 
        {     
            let client = new System.Net.Http.HttpClient()
            let! responseBody = 
                client.GetStringAsync("https://www.kodis.cz/lines/region?tab=232-293")
                |> Async.AwaitTask
            return responseBody
        } |> Async.RunSynchronously

解决方案 #

这类问题的核心是需要模拟浏览器执行JavaScript并等待页面渲染完成，以下是几种.NET环境下的可行方案：

1. 使用Selenium WebDriver #

这是最通用的方案，支持主流浏览器，完全模拟真实浏览器行为：

• 安装依赖NuGet包：Selenium.WebDriver、对应浏览器的驱动包（如Chrome需安装Selenium.WebDriver.ChromeDriver）
• 代码示例（C#）：

using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;

var options = new ChromeOptions();
// 可选：启用无头模式（不显示浏览器窗口）
options.AddArgument("--headless=new");

using var driver = new ChromeDriver(options);
driver.Navigate().GoToUrl("https://www.kodis.cz/lines/region?tab=232-293");

// 等待页面关键元素加载完成（可根据实际页面调整等待条件）
var wait = new WebDriverWait(driver, TimeSpan.FromSeconds(10));
wait.Until(d => d.FindElement(By.CssSelector("your-target-element-selector")));

// 获取渲染后的完整HTML
var renderedHtml = driver.PageSource;

2. 使用Puppeteer Sharp #

基于Chrome DevTools协议的无头浏览器方案，适合服务器环境：

• 安装依赖NuGet包：PuppeteerSharp
• 代码示例（C#）：

using PuppeteerSharp;

// 首次运行自动下载Chromium
await new BrowserFetcher().DownloadAsync(BrowserFetcher.DefaultRevision);

using var browser = await Puppeteer.LaunchAsync(new LaunchOptions
{
    Headless = true, // 无头模式
    Args = new[] { "--no-sandbox" } // 服务器环境可能需要添加此参数
});
using var page = await browser.NewPageAsync();
await page.GoToAsync("https://www.kodis.cz/lines/region?tab=232-293", new NavigationOptions
{
    WaitUntil = new[] { WaitUntilNavigation.Networkidle0 } // 等待网络空闲，确保JS加载完成
});

// 获取渲染后的HTML
var renderedHtml = await page.GetContentAsync();

3. 使用Playwright for .NET #

微软官方推荐的跨浏览器自动化工具，支持Chrome、Firefox、WebKit：

• 安装依赖NuGet包：Microsoft.Playwright
• 先执行命令安装浏览器（仅需一次）：

dotnet tool install --global Microsoft.Playwright.CLI
playwright install

• 代码示例（C#）：

using Microsoft.Playwright;

using var playwright = await Playwright.CreateAsync();
await using var browser = await playwright.Chromium.LaunchAsync(new BrowserTypeLaunchOptions
{
    Headless = true
});
var page = await browser.NewPageAsync();
await page.GotoAsync("https://www.kodis.cz/lines/region?tab=232-293", new PageGotoOptions
{
    WaitUntil = WaitUntilState.NetworkIdle
});

// 获取渲染后的完整HTML
var renderedHtml = await page.ContentAsync();

为什么传统方法无效 #

HttpClient等工具仅发送HTTP请求获取服务器原始响应，不会解析和执行页面中的JavaScript代码。现代网站常通过JS动态生成DOM元素（如目标页面的PDF链接），因此静态请求只能拿到页面骨架，无法获取浏览器渲染后的完整内容。

内容的提问来源于stack exchange，提问作者Miroslav Husťák