如何在C#中使用Puppeteer无头模式等待页面加载后爬取HTML？

一、修复现有Puppeteer代码的无头模式问题 #

你的核心问题是无头模式下未等待JS异步数据加载完成，可通过以下几点调整解决：

• 调整等待策略：将WaitUntil从DOMContentLoaded改为NetworkIdle0或NetworkIdle2，前者等待网络连接完全空闲（0个请求）500ms，后者允许存在2个活跃请求，更适配异步数据加载场景。
• 模拟正常浏览器UA：无头模式默认的User-Agent会被网站识别为自动化工具，设置主流浏览器的UA可绕过检测。
• 等待目标元素渲染：直接等待你需要爬取的目标元素出现，确保数据已渲染到页面中。
• 添加无头模式必需启动参数：部分服务器或容器环境下，需要禁用沙箱才能正常启动无头浏览器。

修改后的代码如下：

public static async Task<string> GetLoadedHTML(string url)
{
    try
    {
        await new BrowserFetcher().DownloadAsync(BrowserFetcher.DefaultRevision);
        Browser browser = await Puppeteer.LaunchAsync(new LaunchOptions
        {
            Headless = true,
            Args = new[] 
            { 
                "--no-sandbox", 
                "--disable-setuid-sandbox",
                "--disable-blink-features=AutomationControlled" // 规避自动化检测
            }
        });
        var page = await browser.NewPageAsync();
        page.DefaultTimeout = 0;
        
        // 设置正常Chrome浏览器的User-Agent
        await page.SetUserAgentAsync("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36");
        
        var navigation = new NavigationOptions
        {
            Timeout = 0,
            WaitUntil = new[] { WaitUntilNavigation.NetworkIdle0 } // 等待网络请求完全空闲
        };
        await page.GoToAsync(url, navigation);
        
        // 等待目标元素加载（替换为你实际需要爬取的元素选择器，比如商品列表项）
        await page.WaitForSelectorAsync(".feed-grid__item", new WaitForSelectorOptions { Timeout = 0 });
        
        string content = await page.GetContentAsync();
        await browser.CloseAsync();
        page.Dispose();

        return content;
    }
    catch (Exception ex)
    {
        log.Error(ex);
        throw ex;
    } 
}

二、替代方案推荐 #

1. 使用Playwright #

Playwright是微软维护的自动化测试工具，API设计与Puppeteer接近，但对无头模式的支持更稳定，内置更多反检测机制，默认等待策略更智能，能自动适配页面加载节奏，C#版本可直接替换现有Puppeteer逻辑。

2. 直接调用网站内部API #

通过浏览器开发者工具的Network面板，查找Vinted加载数据时发起的XHR/fetch请求，直接调用这些API获取JSON格式的结构化数据，无需启动浏览器和解析HTML，效率和稳定性远高于页面爬取。

内容的提问来源于stack exchange，提问作者Ted Burgess