使用Html Agility Pack无法提取HTML文档中所有<p>标签的问题

问题场景 #

使用Html Agility Pack提取HTML文档中的<p>标签时，SelectNodes("//p")返回null，无法正常遍历节点。

原代码示例 #

var doc = new HtmlDocument();
doc.Load(@"c:\Webs\test.html");
var nodes = doc.DocumentNode.SelectNodes("//p");

foreach ( var paragraph in nodes ) { 
    Console.WriteLine($"paragraph {paragraph.InnerText}");
}

对应HTML文档 #

<!DOCTYPE html>

<html>
<head>
</head>
<body>
     <p>I am a paragraph</p>
     <p>I am a paragraph</p>
     <h1>I am an H1</h1>
     <p>I am a paragraph</p>
     <p>I am a paragraph</p>
     <p>I am a paragraph</p>
     <h1>I am an H1</h1> 
</body>
</html>

解决方案 #

以下是几个可行的解决办法：

• 检查文件路径与状态
  确认c:\Webs\test.html路径拼写正确，文件确实存在且未被其他程序占用。

• 指定文件编码加载
  若HTML文件使用非默认编码（如GB2312），加载时显式指定编码避免解析异常：

  var doc = new HtmlDocument();
  doc.Load(@"c:\Webs\test.html", Encoding.UTF8); // 替换为文件实际编码
  

• 用Descendants方法替代XPath
  Descendants方法更稳定，找不到节点时返回空集合而非null，避免空引用报错：

  var doc = new HtmlDocument();
  doc.Load(@"c:\Webs\test.html");
  var nodes = doc.DocumentNode.Descendants("p");
  
  foreach (var paragraph in nodes)
  {
      Console.WriteLine($"paragraph {paragraph.InnerText}");
  }
  

• 添加null判断（兼容XPath写法）
  坚持用XPath的话，先判断nodes是否为null再遍历：

  var doc = new HtmlDocument();
  doc.Load(@"c:\Webs\test.html");
  var nodes = doc.DocumentNode.SelectNodes("//p");
  
  if (nodes != null)
  {
      foreach (var paragraph in nodes)
      {
          Console.WriteLine($"paragraph {paragraph.InnerText}");
      }
  }
  

• 更新Html Agility Pack版本
  旧版本可能存在解析bug，通过NuGet安装最新版本，提升兼容性。

内容的提问来源于stack exchange，提问作者Max