使用HtmlAgilityPack解析第三方网站遇NullReferenceException，链接为何为空？

兄弟，我之前也碰到过一模一样的情况——前两个网站爬得顺风顺水，第三个突然就抛出空引用异常，哪怕是拿最基础的body元素都不行。结合你的描述，给你捋几个大概率能解决的方向：

1. 先排查请求本身是否拿到了有效内容 #

很多时候空引用根本不是HtmlAgilityPack的锅，而是请求压根没返回正常的网页内容。你可以先把第三个网站的响应内容直接输出看看：

var web = new HtmlWeb();
var htmlDoc = web.Load("第三个网站的URL");
// 把原始HTML存到本地文件，打开看看实际返回了啥
File.WriteAllText("test.html", htmlDoc.DocumentNode.OuterHtml);

如果打开test.html发现是空的、是验证码页面或者403禁止访问页面，那问题就出在请求环节：

• 给请求加个真实的浏览器User-Agent，模拟正常访问：

  var web = new HtmlWeb();
  web.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36";
  var htmlDoc = web.Load("目标URL");
  

• 有些网站会检测请求头的其他字段（比如Accept、Referer），你可以把浏览器里的请求头全复制过来加上：

  web.PreRequest += (request) => {
      request.Headers.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8");
      request.Headers.Add("Referer", "https://xxx.com/"); // 换成目标网站的前置页面URL
      return true;
  };
  

2. 检查HtmlAgilityPack的文档解析是否失败 #

如果请求返回了内容，但htmlDoc或者htmlDoc.DocumentNode是null，那可能是网站的HTML编码有问题，或者格式太乱导致解析失败。你可以手动指定编码加载：

var web = new HtmlWeb();
web.OverrideEncoding = Encoding.UTF8; // 或者根据网站实际编码调整，比如GB2312
var htmlDoc = web.Load("目标URL");

或者绕开HtmlWeb，手动用HttpWebRequest获取流再加载：

var request = (HttpWebRequest)WebRequest.Create("目标URL");
request.UserAgent = "你的UA";
using (var response = (HttpWebResponse)request.GetResponse())
using (var stream = response.GetResponseStream())
{
    var htmlDoc = new HtmlDocument();
    htmlDoc.Load(stream, Encoding.UTF8);
    // 后续操作
}

3. 确认目标元素的定位逻辑是否真的没问题 #

你说目标类确实存在，但要注意几个容易踩的坑：

• 网站是不是动态渲染的？比如用JavaScript加载内容，HtmlAgilityPack只能爬静态HTML，这时候你在浏览器里看到的类，爬下来的静态源码里根本没有，自然会返回null。这种情况就得换用Selenium或者Puppeteer这类能渲染JS的工具。
• 类名是否有拼写错误？比如大小写（有些网站的类名区分大小写）、多余空格或者特殊字符，比如class="target-class active"，你用//div[@class='target-class']就找不到，得用//div[contains(@class,'target-class')]来模糊匹配。

4. 精准定位空引用的来源 #

你现在只知道抛出System.NullReferenceException，但不知道是哪个对象null。建议加个断点，或者在代码里加日志排查：

var htmlDoc = web.Load("目标URL");
if (htmlDoc == null)
{
    Console.WriteLine("HtmlDocument加载失败，返回null");
    return;
}
var bodyNode = htmlDoc.DocumentNode.SelectSingleNode("//body");
if (bodyNode == null)
{
    Console.WriteLine("找不到body节点，可能HTML格式异常");
    return;
}
// 再定位目标元素
var targetNode = bodyNode.SelectSingleNode("//div[@class='your-target-class']");
if (targetNode == null)
{
    Console.WriteLine("找不到目标元素");
    return;
}

这样就能精准知道是哪一步出了问题，不用瞎猜。

内容的提问来源于stack exchange，提问作者Lachevre