使用WebClient下载HTML时缺失内部div元素的问题如何解决？

该问题是典型的前端动态渲染导致的静态爬取失效问题：

• 目标站点的#glossary-space容器内部内容，并不在服务端返回的原始HTML中，是页面加载完成后，由前端JS脚本执行查询逻辑、异步计算后动态插入到DOM结构里的。
• WebClient的DownloadString方法仅会拉取服务端返回的原始静态HTML文本，不会执行页面内嵌的JS代码，因此无法获取到动态生成的子元素内容。

根据你的使用场景可以二选一：

方案1：直接调用数据接口（性能最优，优先选择） #

打开浏览器开发者工具的「网络」面板，刷新页面后过滤XHR/Fetch类请求，找到站点加载词条数据的后端接口，直接请求该接口拿到结构化的JSON数据，无需解析HTML，开发成本和性能都更优。

方案2：使用支持JS渲染的爬取类库 #

如果找不到可用的公开接口，可以使用支持模拟浏览器运行、能执行页面JS的.NET类库完成爬取，可选类库包括Puppeteer Sharp、Selenium、Playwright for .NET。以下是Puppeteer Sharp的示例代码：

using PuppeteerSharp;

// 首次运行会自动下载匹配版本的无头Chromium
await new BrowserFetcher().DownloadAsync();
using var browser = await Puppeteer.LaunchAsync(new LaunchOptions { Headless = true });
using var page = await browser.NewPageAsync();
// 跳转目标页面
await page.GoToAsync("https://glossary.infil.net/?t=dmslkadmsak");
// 等待目标动态元素渲染完成
await page.WaitForSelectorAsync("#glossary-space > *");
// 获取渲染完成的完整HTML
string fullRenderedHtml = await page.GetContentAsync();
// 也可以直接提取目标容器的内部HTML
string glossaryContent = await page.EvaluateExpressionAsync<string>(
    "document.querySelector('#glossary-space').innerHTML"
);

补充提示：WebClient是.NET Framework时代的过时API，.NET Core/.NET 5+环境下做静态资源请求优先使用HttpClient。

内容的提问来源于stack exchange，提问作者Joshua Salcedo