HttpWebRequest.GetResponse访问JustDial站点总返回操作超时如何解决

原因说明 #

JustDial站点部署了严格的Web应用防火墙（WAF）反爬策略，会校验请求头的完整性、规范性，不符合浏览器特征的请求会被直接丢弃，不会返回响应，最终导致超时。你的现有代码存在多个不符合浏览器请求规范的配置项，触发了反爬拦截。

可执行修复步骤 #

• 调整超时时间：原有7秒的超时设置过短，反爬校验环节通常会增加响应耗时，建议将Timeout调整为30000（30秒）
• 删除无效请求头：GET请求不需要设置ContentType，该字段仅用于POST请求提交内容时声明格式，删除该行配置避免触发WAF校验失败
• 补全标准Accept请求头：正常浏览器发起页面请求会携带Accept头，用于声明可接收的响应内容类型，新增该行配置模拟浏览器行为
• 优化TLS配置：SSL3、TLS1.0、TLS1.1均已被主流站点弃用，仅保留TLS1.2、TLS13即可，避免冗余握手协商导致超时；同时不要每次请求都重复配置ServicePointManager，该配置为全局生效，建议移到程序启动逻辑中执行
• 修正Cookie配置：不要手动添加空Cookie集合，CookieContainer会自动处理站点返回的Set-Cookie响应头，无需手动初始化Cookie内容
• 前置校验：如果修改代码后仍超时，先使用本地浏览器无痕模式访问目标地址，确认本地IP未被站点临时封禁，若浏览器无法访问则需要更换IP或使用代理访问

修改后的代码示例 #

// 全局配置建议放在程序入口处执行，不要每次请求都重复设置
ServicePointManager.DefaultConnectionLimit = 7000;
ServicePointManager.Expect100Continue = false;
// 若你使用的.NET版本不支持Tls13，仅保留Tls12即可
ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12 | SecurityProtocolType.Tls13;

public static string GetPageData(string url)
{
    try
    {
        HttpWebRequest httpWebRequest = (HttpWebRequest)WebRequest.Create(url);
        httpWebRequest.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36";
        httpWebRequest.Headers.Add("Accept-Language", "en-US,fr-CA,it-IT;q=0.6");
        // 新增标准Accept头模拟浏览器请求
        httpWebRequest.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8";
        httpWebRequest.AllowAutoRedirect = true;
        httpWebRequest.Method = "GET";
        httpWebRequest.CookieContainer = new CookieContainer();
        httpWebRequest.KeepAlive = true;
        httpWebRequest.MaximumAutomaticRedirections = 20;
        httpWebRequest.Timeout = 30000;
      
        using (var response = (HttpWebResponse)httpWebRequest.GetResponse())
        using (Stream responseStream = response.GetResponseStream())
        using (StreamReader streamReader = new StreamReader(responseStream))
        {
            return responseStream == null ? string.Empty : streamReader.ReadToEnd();
        }
    }
    catch (Exception ex)
    {
        return ex.Message;
    }
}

内容的提问来源于stack exchange，提问作者Velkumar