C# HtmlAgilityPack在VS调试与独立运行时表现不一致问题

第一个场景：编译后价格字段偶发为空 #

核心原因推测 #

1. XPath依赖绝对路径+多余tbody节点：多数网站的原始HTML中并没有<tbody>标签，该标签是浏览器渲染时自动补全的。HtmlAgilityPack解析原始HTML时不会添加这个标签，因此XPath中包含tbody会导致exe运行时（请求到的是原始未处理HTML）找不到节点；而VS运行时可能因缓存或调试环境差异，解析的是经浏览器处理后的HTML，因此能正常匹配。
2. 文本节点提取方式错误：用//.../text()定位文本节点后调用bodyNode.InnerHtml——但HtmlTextNode的InnerHtml为空，需用bodyNode.Value或bodyNode.InnerText获取文本内容。
3. 请求环境差异：VS与exe运行时的请求头（如User-Agent）不同，服务器返回差异化页面结构；或代理请求不稳定，导致部分请求返回的页面不完整。

修复方案 #

1. 优化XPath，移除tbody并改用相对定位：
   先通过属性（如class）定位目标表格，再逐层查找子节点，避免绝对路径的脆弱性：

   // 先定位目标表格（需根据实际页面源码调整class属性值）
   var tableNode = htmlDoc.DocumentNode.SelectSingleNode("//table[contains(@class, 'main-table')]");
   if (tableNode != null)
   {
       // 解析名称
       var nameNode = tableNode.SelectSingleNode($"./tr[{i}]/td[2]/div/div/div");
       if (nameNode != null)
       {
           exchange = nameNode.InnerText.Trim();
           Console.WriteLine("Name: " + exchange);
       }
   
       // 解析价格
       var priceNode = tableNode.SelectSingleNode($"./tr[{i}]/td[3]/div[1]");
       if (priceNode != null)
       {
           if (Double.TryParse(priceNode.InnerText.Trim(), out price))
           {
               Console.WriteLine("Price: " + price);
           }
       }
   }
   

2. 统一请求头，模拟浏览器：
   初始化HtmlWeb时设置标准浏览器User-Agent，避免服务器返回差异化内容：

   HtmlWeb web = new HtmlWeb();
   web.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36";
   htmlDoc = web.Load("https://www.bestchange.ru/bitcoin-to-bitcoin-bep20.html", proxies[p].ip, proxies[p].port, proxies[p].login, proxies[p].password);
   

3. 添加重试机制：
   当价格节点为空时，重新请求页面再尝试解析，降低偶发失败概率：

   int retryCount = 3;
   while (retryCount > 0 && price == 0)
   {
       htmlDoc = web.Load("https://www.bestchange.ru/bitcoin-to-bitcoin-bep20.html", proxies[p].ip, proxies[p].port, proxies[p].login, proxies[p].password);
       // 重新执行价格解析逻辑
       var tableNode = htmlDoc.DocumentNode.SelectSingleNode("//table[contains(@class, 'main-table')]");
       if (tableNode != null)
       {
           var priceNode = tableNode.SelectSingleNode($"./tr[{i}]/td[3]/div[1]");
           if (priceNode != null)
           {
               Double.TryParse(priceNode.InnerText.Trim(), out price);
           }
       }
       retryCount--;
   }
   

第二个场景：定时登录项目周期性失败 #

核心原因推测 #

1. 请求环境标识差异：VS与exe运行时的请求头、会话特征不同，服务器识别为非浏览器请求，触发反爬机制导致登录页面结构变化。
2. Cookie管理失效：HtmlWeb默认的Cookie容器未正确维护会话，一段时间后Cookie失效，无法加载正常的登录页面元素。
3. 代理IP被临时限制：长时间使用同一代理IP，被服务器列入临时黑名单；VS运行时切换到本地IP后恢复，重启exe后代理IP可能被释放或更换，暂时恢复正常。

修复方案 #

1. 手动管理会话Cookie：
   使用CookieContainer统一维护会话，确保登录状态的持续性：

   CookieContainer cookieContainer = new CookieContainer();
   HtmlWeb web = new HtmlWeb();
   web.PreRequest += (request) =>
   {
       request.CookieContainer = cookieContainer;
       request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36";
       return true;
   };
   

2. 添加登录重试与代理切换：
   当找不到登录元素时，自动切换代理IP并重新请求登录页面：

   bool loginSuccess = false;
   int loginRetry = 5;
   while (!loginSuccess && loginRetry > 0)
   {
       // 切换到下一个代理
       p = (p + 1) % proxies.Count;
       htmlDoc = web.Load("目标登录页面URL", proxies[p].ip, proxies[p].port, proxies[p].login, proxies[p].password);
       var loginBtn = htmlDoc.DocumentNode.SelectSingleNode("//button[@id='login-btn']");
       if (loginBtn != null)
       {
           // 执行登录逻辑（填写账号、提交表单等）
           loginSuccess = true;
       }
       loginRetry--;
       Thread.Sleep(1000); // 避免频繁请求触发反爬
   }
   

3. 动态获取CSRF Token：
   多数登录页面需要CSRF Token，每次登录前从页面提取最新Token，避免硬编码失效：

   var csrfNode = htmlDoc.DocumentNode.SelectSingleNode("//input[@name='csrf_token']");
   if (csrfNode != null)
   {
       string csrfToken = csrfNode.GetAttributeValue("value", "");
       // 登录请求时携带该Token参数
   }
   

内容的提问来源于stack exchange，提问作者Yaroslav Kolyada