C#环境下无需安装浏览器如何爬取JavaScript生成的网站？

存在完全无需安装浏览器即可实现JS渲染页面爬取的可行方案，可根据你的技术栈选择对应落地路径：

1. 基于现有HTML解析库扩展内嵌JS运行时（无任何外部依赖，优先级最高） #

你此前使用过的AngleSharp可直接搭配官方扩展AngleSharp.Js实现JS执行能力，无需安装任何浏览器：

• 该扩展内嵌了轻量JS运行时，完整支持DOM操作、XHR/fetch请求等前端常用JS能力，可模拟真实浏览器的JS执行流程，完成页面全量渲染
• 仅需通过NuGet安装对应类库即可直接调用，不需要额外部署任何浏览器程序，完全符合生产环境无额外安装的限制
• 核心调用示例：

var config = Configuration.Default
    .WithJs() // 开启JS运行支持
    .WithDefaultLoader(new LoaderOptions { IsResourceLoadingEnabled = true });
var context = BrowsingContext.New(config);
// 加载页面时会自动执行页面内JS完成渲染
var document = await context.OpenAsync("你的目标站点URL");
// 直接获取JS渲染完成后的全量HTML
var renderedHtml = document.DocumentElement.OuterHtml;

2. 纯运行时JS沙箱方案 #

如果你的技术栈是Node.js，可直接使用jsdom类库：

• 纯JS实现的DOM/BOM模拟环境，不需要调用任何系统浏览器进程，直接在Node.js进程内完成页面JS执行和HTML渲染
• 支持自定义请求头、Cookie、交互事件模拟，可适配绝大多数JS渲染站点的爬取需求

3. 便携版无头浏览器免安装方案 #

如果上述类库方案无法覆盖特殊站点的复杂JS逻辑，可使用无需安装的便携版浏览器组合，不需要在系统内走安装流程，仅需携带对应二进制文件即可运行：

• 下载Chrome便携版压缩包，解压后存放在程序运行目录
• 调用Selenium或Playwright时手动指定浏览器二进制文件路径，不需要修改系统配置，即可正常调用无头Chrome完成页面渲染
• 该方案兼容性和正式安装的Chrome完全一致，可适配所有支持Chrome的站点渲染需求

内容的提问来源于stack exchange，提问作者Mead Umandal