为何HtmlAgilityPack HtmlWeb.Load在Windows失效但iOS正常？

我有一个Visual Studio ASP.NET网站和一个从Xamarin升级2年的MAUI应用，两者都包含以下代码：

HtmlAgilityPack.HtmlWeb htmlapWeb = new HtmlAgilityPack.HtmlWeb();
HtmlAgilityPack.HtmlDocument htmlDocHP;
htmlDocHP = htmlapWeb.Load("http://www.wordreference.com");
string sOuterHTML = htmlDocHP.DocumentNode.OuterHtml;

这段代码正常运行了6-7年，但近期访问htmlDocHP.DocumentNode.OuterHtml时开始抛出异常。调试发现htmlDocHP.DocumentNode的ID、InnerHtml、InnerLength、OuterHtml、OuterLength属性都会触发异常，且这些异常在Load调用时就被HtmlAgilityPack DLL内部处理了，不会进入我的Try/Catch块。Load返回后，调试器中htmlDocHP.DocumentNode状态异常。

我把代码放到新的控制台应用中，问题依旧。

奇怪的是，在iOS模拟器或物理iPhone设备上调试MAUI应用时代码正常，但在Windows机器上调试就会出错。测试其他URL（如https://cnn.com）没有异常，推测wordreference.com近期有变更，但无法确定具体内容。编码在所有场景下一致，也不清楚其他HTML下载方式。

想知道：为什么这段代码在Windows机器上失效但在iOS上正常？

• 服务器端的UA/平台检测差异：wordreference.com可能近期新增了针对Windows平台的反爬或内容拦截策略，给Windows客户端返回异常格式的内容（比如不完整HTML、非标准编码响应甚至干扰内容），而iOS客户端的UA标识能拿到正常HTML。可以尝试给HtmlWeb设置模拟iOS的User-Agent：

  var htmlapWeb = new HtmlAgilityPack.HtmlWeb();
  htmlapWeb.UserAgent = "Mozilla/5.0 (iPhone; CPU iPhone OS 16_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.0 Mobile/15E148 Safari/604.1";
  var htmlDocHP = htmlapWeb.Load("http://www.wordreference.com");
  

• HtmlAgilityPack的平台依赖差异：Windows和iOS上的HtmlAgilityPack版本或底层依赖（比如HTTP客户端、编码处理组件）可能存在细微差异，导致Windows端无法解析wordreference.com的新响应格式。可以尝试升级HtmlAgilityPack到最新版本，或者手动处理HTTP请求再交给HtmlDocument解析：

  // 用HttpClient手动下载内容，再交给HtmlAgilityPack解析
  using var httpClient = new HttpClient();
  httpClient.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (iPhone; CPU iPhone OS 16_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.0 Mobile/15E148 Safari/604.1");
  var htmlContent = await httpClient.GetStringAsync("http://www.wordreference.com");
  var htmlDocHP = new HtmlAgilityPack.HtmlDocument();
  htmlDocHP.LoadHtml(htmlContent);
  string sOuterHTML = htmlDocHP.DocumentNode.OuterHtml;
  

• HTTP协议或TLS版本差异：Windows端的默认HTTP客户端可能使用了wordreference.com不再支持的TLS版本或HTTP协议，导致返回异常响应。可以强制使用TLS 1.2或1.3：

  ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12 | SecurityProtocolType.Tls13;
  // 之后再执行请求或HtmlWeb.Load操作
  

• 内容编码处理差异：虽然编码设置一致，但Windows和iOS的编码解析逻辑可能有区别，wordreference.com的响应编码可能有变更，导致Windows端解析时出现乱码或结构损坏。手动指定编码试试：

  var htmlapWeb = new HtmlAgilityPack.HtmlWeb();
  htmlapWeb.OverrideEncoding = Encoding.UTF8; // 根据实际响应编码调整
  var htmlDocHP = htmlapWeb.Load("http://www.wordreference.com");
  

内容的提问来源于stack exchange，提问作者polymechan