C# 使用HttpClient如何获取页面动态加载的内容数据？

原因说明 #

你请求拿到的是未执行JavaScript的初始HTML内容，sales-inner表格的价格数据是页面加载完成后通过异步请求拉取、再由JS动态渲染到页面上的，普通HttpClient无法执行页面JS，自然拿不到渲染后的内容。

解决方案 #

方案1：直接调用数据接口（推荐） #

这是性能最高的实现方式：

• 打开浏览器开发者工具，切换到「网络」面板，筛选「XHR/提取」类请求，刷新目标页面
• 从请求列表中找到返回价格数据的异步接口，这类接口返回值通常为JSON格式，包含完整的价格列表
• 对照接口的请求头、请求参数要求，在HttpClient中配置对应的header（比如User-Agent、Referer、站点要求的鉴权参数等），直接请求该接口解析返回的JSON即可拿到数据。

方案2：使用无头浏览器渲染页面 #

如果接口加密复杂难以分析，可以用无头浏览器工具模拟浏览器完整加载流程，等页面渲染完成后再提取数据，C#环境下可以用Puppeteer Sharp实现，示例代码如下：

using PuppeteerSharp;

// 首次运行会自动下载对应版本的Chromium
await new BrowserFetcher().DownloadAsync();
using var browser = await Puppeteer.LaunchAsync(new LaunchOptions { Headless = true });
using var page = await browser.NewPageAsync();
// 配置请求头模拟正常浏览器访问
await page.SetExtraHttpHeadersAsync(new Dictionary<string, string>
{
    {"User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"}
});
await page.GoToAsync("https://www.futbin.com/22/sales/415/?platform=pc");
// 等待sales-inner表格渲染完成
await page.WaitForSelectorAsync(".sales-inner");
// 提取表格内容
var priceContent = await page.EvaluateExpressionAsync<string>("document.querySelector('.sales-inner').innerText");
// 后续自行解析priceContent中的价格数据即可

注意：两种方案都需要注意站点的反爬规则，控制请求频率避免被封禁IP。

内容的提问来源于stack exchange，提问作者Aleksander Schultz