C# HttpWebRequest请求网站子页面报连接意外关闭如何解决

• 目标站点部署了会话级反爬策略：浏览器首次访问子路径时，站点会下发有效期30~60秒的有效会话Cookie/校验凭证，你当前的代码没有携带对应凭证，服务端识别到非法请求后直接主动断开连接，所以只有浏览器访问后短时间内请求能成功。
• 代码缺少标准浏览器请求特征：你当前的HttpWebRequest没有携带User-Agent、Accept、Referer等浏览器默认请求头，服务端很容易识别为自动化爬虫请求，直接触发拦截。
• TLS指纹不匹配：.NET Framework默认的HttpWebRequest的TLS握手指纹和主流浏览器差异较大，部分WAF会直接拦截非浏览器特征的TLS请求。

基础修复（适配90%以上普通拦截场景） #

修改你的代码，补充请求头、TLS配置和Cookie容器即可：

// 全局共用Cookie容器，不要每次请求重新实例化
static CookieContainer globalCookieContainer = new CookieContainer();

public void GetPageSource(string urlAddress)
{
    ServicePointManager.ServerCertificateValidationCallback = delegate { return true; };
    // 统一配置TLS版本，匹配现代浏览器要求
    ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12 | SecurityProtocolType.Tls13;

    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(urlAddress);
    // 绑定Cookie容器，自动存储、携带站点下发的Cookie
    request.CookieContainer = globalCookieContainer;
    // 模拟Chrome浏览器请求头
    request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36";
    request.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8";
    request.Headers.Add("Accept-Language", "zh-CN,zh;q=0.9,en;q=0.8");
    request.Referer = "https://url.com"; // 替换为目标站点根域名
    request.KeepAlive = true;

    // 如果首次请求子路径失败，可以先主动请求一次根域名拿到基础Cookie后再请求子路径
    // var rootRequest = (HttpWebRequest)WebRequest.Create("https://url.com");
    // rootRequest.CookieContainer = globalCookieContainer;
    // var rootResp = (HttpWebResponse)rootRequest.GetResponse();
    // rootResp.Close();

    HttpWebResponse response = (HttpWebResponse)request.GetResponse();

    if (response.StatusCode == HttpStatusCode.OK)
    {
        Stream receiveStream = response.GetResponseStream();
        StreamReader readStream = null;

        if (String.IsNullOrWhiteSpace(response.CharacterSet))
            readStream = new StreamReader(receiveStream);
        else
            readStream = new StreamReader(receiveStream, Encoding.GetEncoding(response.CharacterSet));

        string Responsecode = readStream.ReadToEnd();
        Console.WriteLine(Responsecode);

        response.Close();
        readStream.Close();
    }
}

高阶适配（应对JS校验类WAF） #

如果基础修复后还是触发拦截，说明站点部署了需要前端JS执行生成校验参数的WAF（比如Cloudflare、阿里云盾等），可以使用无头浏览器方案直接模拟真实浏览器操作：用Selenium/Playwright启动Chrome/Edge浏览器内核，完全模拟用户点击、访问流程，所有请求特征和真实用户完全一致，不会被拦截。

提示：请确保你对目标站点的爬取行为符合其robots协议约定以及当地法律法规要求，禁止进行未授权的爬取操作。

内容的提问来源于stack exchange，提问作者N3nntr0n