如何使用HTMLAgilityPack仅抓取网页Head部分而非完整页面？

HTMLAgilityPack的HtmlWeb.Load确实会加载整个文档，要实现只读取Head部分，你需要手动处理HTTP请求，读取到</head>标签后就停止，再将这部分内容交给HTMLAgilityPack解析，具体代码如下：

using HtmlAgilityPack;
using System.Net.Http;
using System.Text;

var url = "some website";
var htmlBuilder = new StringBuilder();
bool isHeadSection = false;

using (var httpClient = new HttpClient())
using (var responseStream = await httpClient.GetStreamAsync(url))
using (var reader = new StreamReader(responseStream))
{
    string line;
    while ((line = await reader.ReadLineAsync()) != null)
    {
        htmlBuilder.AppendLine(line);
        
        // 标记进入Head部分
        if (line.Contains("<head", StringComparison.OrdinalIgnoreCase))
        {
            isHeadSection = true;
        }
        
        // 找到Head结束标签就停止读取
        if (isHeadSection && line.Contains("</head>", StringComparison.OrdinalIgnoreCase))
        {
            break;
        }
    }
}

// 解析截取到的Head部分HTML
var document = new HtmlDocument();
document.LoadHtml(htmlBuilder.ToString());
var metaTags = document.DocumentNode.SelectNodes("//meta");

说明 #

• 使用HttpClient直接获取响应流，逐行读取内容，避免一次性加载整个文档
• 通过判断<head>和</head>标签来控制读取范围，读取到Head结束标签后立即停止
• 最后将截取到的Head部分HTML传入HtmlDocument.LoadHtml，再用常规方式提取Meta标签

内容的提问来源于stack exchange，提问作者Nick202