基于C#与HtmlAgilityPack处理动态网页爬取的__doPostBack分页问题

嘿，我刚好处理过不少这种依赖__doPostBack函数的ASP.NET分页爬取场景，给你捋捋怎么搞定这个问题～

这种分页本质是通过表单提交触发服务器端的PostBack，而非修改URL，所以我们需要模拟这个表单提交过程，关键是抓准PostBack需要的参数。

核心思路 #

1. 首次请求获取基础参数：先爬取初始页面，提取ASP.NET页面必备的隐藏字段（比如__VIEWSTATE、__EVENTVALIDATION这些），以及分页控件的eventTarget（就是__doPostBack的第一个参数）。
2. 构造Post请求模拟分页：每一页都构造包含所有必要字段的表单数据，发送Post请求到原页面URL，获取分页后的HTML。
3. 循环处理多页：每次请求后更新隐藏字段（因为PostBack后这些字段会刷新），然后重复爬取下一页。

具体代码示例 #

假设你已经引用了HtmlAgilityPack和System.Net.Http，代码如下：

using HtmlAgilityPack;
using System.Net.Http;
using System.Collections.Generic;
using System.Threading.Tasks;

class Program
{
    static async Task Main(string[] args)
    {
        // 初始化HttpClient，保持会话Cookie（ASP.NET依赖Session）
        var handler = new HttpClientHandler
        {
            CookieContainer = new CookieContainer(),
            UseCookies = true
        };
        var client = new HttpClient(handler);
        // 设置UserAgent模拟浏览器
        client.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36");

        string targetUrl = "https://example.com/your-product-list-page"; // 替换成目标页面URL

        // 1. 首次请求获取初始页面和基础参数
        var initialResponse = await client.GetAsync(targetUrl);
        var initialHtml = await initialResponse.Content.ReadAsStringAsync();
        var doc = new HtmlDocument();
        doc.LoadHtml(initialHtml);

        // 提取ASP.NET核心隐藏字段
        string viewState = doc.DocumentNode.SelectSingleNode("//input[@name='__VIEWSTATE']")?.GetAttributeValue("value", string.Empty) ?? string.Empty;
        string viewStateGenerator = doc.DocumentNode.SelectSingleNode("//input[@name='__VIEWSTATEGENERATOR']")?.GetAttributeValue("value", string.Empty) ?? string.Empty;
        string eventValidation = doc.DocumentNode.SelectSingleNode("//input[@name='__EVENTVALIDATION']")?.GetAttributeValue("value", string.Empty) ?? string.Empty;

        // 提取分页控件的eventTarget（从分页按钮的onclick事件里拿）
        var pageLink = doc.DocumentNode.SelectSingleNode("//a[contains(@href, '__doPostBack')]");
        string eventTarget = string.Empty;
        if (pageLink != null)
        {
            string onClick = pageLink.GetAttributeValue("href", string.Empty);
            // 拆分__doPostBack('xxx','xxx')获取第一个参数
            var parts = onClick.Split(new[] { "__doPostBack('", "','" }, System.StringSplitOptions.RemoveEmptyEntries);
            if (parts.Length > 0)
                eventTarget = parts[0];
        }

        // 提取总页数（假设页面上有显示总页数的元素，比如<span id="totalPages">10</span>）
        int totalPages = int.TryParse(doc.DocumentNode.SelectSingleNode("//span[@id='totalPages']")?.InnerText.Trim(), out var tp) ? tp : 5;

        // 2. 爬取第一页数据（可选，如果你已经在初始页面处理过可以跳过）
        ExtractProducts(doc);

        // 3. 循环爬取后续页面
        for (int pageNum = 2; pageNum <= totalPages; pageNum++)
        {
            // 构造Post表单数据
            var formData = new Dictionary<string, string>
            {
                { "__VIEWSTATE", viewState },
                { "__VIEWSTATEGENERATOR", viewStateGenerator },
                { "__EVENTVALIDATION", eventValidation },
                { "__EVENTTARGET", eventTarget },
                { "__EVENTARGUMENT", $"Page${pageNum}" }, // 注意：这里格式要和页面上的一致，有些网站直接传页码数字
                { "__LASTFOCUS", string.Empty }
            };

            // 发送Post请求
            var content = new FormUrlEncodedContent(formData);
            var postResponse = await client.PostAsync(targetUrl, content);
            var postHtml = await postResponse.Content.ReadAsStringAsync();

            // 解析当前页数据
            doc.LoadHtml(postHtml);
            ExtractProducts(doc);

            // 更新隐藏字段（PostBack后这些字段会变化，必须重新提取）
            viewState = doc.DocumentNode.SelectSingleNode("//input[@name='__VIEWSTATE']")?.GetAttributeValue("value", string.Empty) ?? string.Empty;
            viewStateGenerator = doc.DocumentNode.SelectSingleNode("//input[@name='__VIEWSTATEGENERATOR']")?.GetAttributeValue("value", string.Empty) ?? string.Empty;
            eventValidation = doc.DocumentNode.SelectSingleNode("//input[@name='__EVENTVALIDATION']")?.GetAttributeValue("value", string.Empty) ?? string.Empty;
        }
    }

    // 提取商品编码和价格的方法，替换成你实际的XPath选择器
    static void ExtractProducts(HtmlDocument doc)
    {
        var productNodes = doc.DocumentNode.SelectNodes("//div[contains(@class, 'product-item')]");
        if (productNodes == null) return;

        foreach (var node in productNodes)
        {
            string productCode = node.SelectSingleNode(".//span[contains(@class, 'product-code')]")?.InnerText.Trim() ?? "无编码";
            string productPrice = node.SelectSingleNode(".//span[contains(@class, 'product-price')]")?.InnerText.Trim() ?? "无价格";
            System.Console.WriteLine($"商品编码：{productCode} | 价格：{productPrice}");
        }
    }
}

关键注意事项 #

• 保持会话：一定要复用同一个HttpClient实例，否则Cookie会丢失，导致PostBack请求被服务器拒绝。
• 参数格式匹配：__EVENTARGUMENT的格式要和页面上的完全一致，比如有些网站是"2"而不是"Page$2"，你可以在浏览器F12里查看分页按钮的onclick事件确认。
• 动态更新字段：每次PostBack后，__VIEWSTATE、__EVENTVALIDATION这些字段都会刷新，必须重新提取，否则下一次请求会失败。
• 错误处理：实际爬取时要加null判断、异常捕获，避免因为页面结构变化导致程序崩溃。

内容的提问来源于stack exchange，提问作者Dov95