HtmlAgilityPack的HtmlWeb.Load报错：ReceiveFailure问题求助

这个错误并非你的代码基础逻辑失误，大概率是目标站点的反爬策略、请求头缺失或网络适配问题导致的，以下是具体排查和修复方案：

1. 补充标准请求头，模拟浏览器访问 #

多数WordPress站点会拦截缺少关键请求头的非浏览器请求，给请求添加User-Agent、Accept等头信息：

HtmlWeb web2 = new HtmlWeb();
web2.PreRequest = request => {
    request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36";
    request.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8";
    request.Headers.Add("Accept-Language", "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3");
    return true;
};
var doc = web2.Load("https://parahumans.wordpress.com/2011/06/14/gestation-1-2/");

2. 调整加载模式与超时设置 #

HtmlWeb默认的异步处理可能在部分站点出现适配问题，强制同步加载并设置合理超时：

HtmlWeb web2 = new HtmlWeb();
web2.UseCookies = true;
web2.Timeout = 10000; // 设置10秒超时
web2.Async = false; // 切换为同步加载模式
// 同样加上请求头
web2.PreRequest = request => {
    request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36";
    return true;
};
var doc = web2.Load("https://parahumans.wordpress.com/2011/06/14/gestation-1-2/");

3. 应对站点反爬机制 #

如果添加请求头后仍报错，可能是站点开启了反爬插件或Cloudflare验证：

• 先手动访问目标站点，确认是否需要人机验证（滑块、验证码），若需要，建议改用Selenium这类支持模拟浏览器交互的工具替代HtmlWeb
• 尝试添加手动获取的Cookie：先在浏览器登录站点并复制Cookie内容，再在代码中设置：

web2.PreRequest = request => {
    request.Headers.Add("Cookie", "此处粘贴你手动获取的Cookie内容");
    request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36";
    return true;
};

4. 排查本地网络问题 #

• 确认你的网络能正常访问目标站点（排除墙、代理限制），可直接用浏览器测试
• 尝试更换网络环境（如手机热点）后再运行代码，排除本地网络的访问限制

内容的提问来源于stack exchange，提问作者Martin Brandel