使用C#及System.Net.Http获取网络CSV数据时遇连接异常求助

针对你遇到的WebClient/HttpClient访问Yahoo! Finance、Market Watch时出现的连接关闭、传输流认证失败问题，可尝试以下几种解决方法：

• 强制启用高版本TLS协议
  旧版.NET框架（比如VS2015默认的.NET版本）可能默认使用TLS 1.0/1.1，而多数现代财经网站已不再支持这些低版本协议，会直接断开连接。在发起请求前添加以下代码：

  ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12 | SecurityProtocolType.Tls13;
  

  注意：这段代码只需在程序启动时执行一次即可，对WebClient和HttpClient都生效。

• 添加浏览器模拟请求头
  很多网站会校验请求的User-Agent等头信息，拒绝非浏览器发起的请求。给请求添加符合浏览器标准的头：

  • WebClient示例：

    using (var webClient = new WebClient())
    {
        webClient.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36");
        webClient.Headers.Add("Accept", "text/csv,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
        var csvContent = webClient.DownloadString(targetUrl);
    }
    

  • HttpClient示例：

    using (var httpClient = new HttpClient())
    {
        httpClient.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36");
        httpClient.DefaultRequestHeaders.Add("Accept", "text/csv,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
        
        var response = await httpClient.GetAsync(targetUrl);
        response.EnsureSuccessStatusCode();
        var csvContent = await response.Content.ReadAsStringAsync();
    }
    

• 保持Cookie会话
  部分网站（比如Market Watch）会要求请求携带初始会话Cookie，否则会触发认证拦截。可以用HttpClientHandler维护Cookie容器，先请求网站首页获取Cookie，再请求CSV地址：

  var cookieHandler = new HttpClientHandler
  {
      UseCookies = true,
      CookieContainer = new CookieContainer()
  };
  
  using (var httpClient = new HttpClient(cookieHandler))
  {
      // 先访问网站首页获取会话Cookie
      await httpClient.GetAsync("https://www.marketwatch.com/");
      
      // 再请求目标CSV地址
      var csvResponse = await httpClient.GetAsync(csvUrl);
      csvResponse.EnsureSuccessStatusCode();
      var csvContent = await csvResponse.Content.ReadAsStringAsync();
  }
  

• 检查代理与网络环境
  如果是在公司或受限网络环境下，可能存在代理服务器拦截请求。需要为客户端配置代理：

  • WebClient配置：

    webClient.Proxy = new WebProxy("http://your-proxy-address:port");
    

  • HttpClient配置：

    var proxyHandler = new HttpClientHandler
    {
        Proxy = new WebProxy("http://your-proxy-address:port"),
        UseProxy = true
    };
    using (var httpClient = new HttpClient(proxyHandler))
    {
        // 请求逻辑
    }
    

• 规避反爬机制
  频繁请求会触发网站的反爬策略，导致连接被关闭。在请求之间添加合理的延迟：

  // 异步场景
  await Task.Delay(1000); // 间隔1秒
  // 同步场景
  Thread.Sleep(1000);
  

内容的提问来源于stack exchange，提问作者Douar Gwenn