C#获取含AJAX网站动态数据及监测指定内容的方案咨询

问题根源 #

你现在碰到的核心问题很明确：用HttpWebRequest或者HttpClient直接请求网页，只能拿到服务器返回的初始静态HTML代码，但像worldometers这种网站，很多数据是通过JavaScript异步加载（也就是AJAX请求）出来的，这些动态内容根本不在初始响应里，所以你的循环永远找不到目标文本。

靠谱的解决方案：用无头浏览器渲染动态内容 #

要获取JS执行后的完整页面内容，咱们得用能模拟真实浏览器行为的工具，比如Puppeteer Sharp（C#版本的Puppeteer）或者Selenium WebDriver。下面我用Puppeteer Sharp给你写个可运行的示例：

第一步：先装NuGet包 #

打开NuGet包管理器，安装PuppeteerSharp：

Install-Package PuppeteerSharp

第二步：编写监测函数 #

这个函数会启动无头Chrome（不用打开浏览器窗口也能运行），加载页面并等待所有动态内容加载完成，然后检查目标文本，找到就停止：

using PuppeteerSharp;
using System;
using System.Threading.Tasks;

public static async Task WaitForDynamicWebPageContent(string url, string targetText)
{
    // 首次运行会自动下载Chrome内核，之后就不用再下了
    await new BrowserFetcher().DownloadAsync(BrowserFetcher.DefaultRevision);

    // 启动无头浏览器，调试的时候可以把Headless改成false，就能看到浏览器窗口了
    using var browser = await Puppeteer.LaunchAsync(new LaunchOptions
    {
        Headless = true,
        Args = new[] { "--no-sandbox" } // 部分环境需要这个参数才能正常启动
    });

    while (true)
    {
        using var page = await browser.NewPageAsync();
        // 导航到目标页面，等待网络请求全部完成（确保AJAX内容加载完毕）
        await page.GoToAsync(url, WaitUntilNavigation.Networkidle2);

        // 获取渲染后的完整页面HTML
        var pageContent = await page.GetContentAsync();

        if (pageContent.Contains(targetText))
        {
            Console.WriteLine("Found it!");
            break;
        }

        // 别每秒都请求，给服务器留点余地，这里设5秒间隔，你可以按需调整
        await Task.Delay(TimeSpan.FromSeconds(5));
    }
}

第三步：调用这个异步函数 #

因为是异步方法，得在异步上下文里调用，比如在Main方法里：

// .NET Core/.NET 5+的Main方法可以直接设为异步
static async Task Main(string[] args)
{
    await WaitForDynamicWebPageContent("https://www.worldometers.info/world-population/", "40");
}

为什么原来的方法行不通？ #

再给你捋清楚：

• HttpWebRequest/HttpClient只是单纯发HTTP请求、拿响应，完全不会执行页面里的JavaScript，所以那些AJAX加载的动态数据它根本拿不到。
• 无头浏览器就像真实用户打开浏览器一样，会解析HTML、运行JS、等AJAX请求完成，所以能拿到完整的、和你在浏览器里看到一样的页面内容。

小提醒 #

• 一定要设置合理的请求间隔，别频繁轰炸网站，不然很可能被封IP。
• 如果网站有反爬机制，你可以通过page.SetUserAgentAsync()设置和真实浏览器一样的User-Agent，或者添加代理，避免被识别出来。

内容的提问来源于stack exchange，提问作者Firoz Rangrez