.NET下TCP Client发送HTTPS GET请求状态码不一致问题排查与修复

我希望获取指定地址对应的网页HTML内容，编写了如下.NET代码：

var url = "https://www.stackoverflow.com/questions";
var uri = new Uri(url);
var host = uri.Host;
client.Connect(host, 443);
using SslStream sslStream = new SslStream(client.GetStream(), 
    false,
    new RemoteCertificateValidationCallback(ValidateServerCertificate), 
    null
);

var message = @$"GET {uri.AbsolutePath} HTTP/1.1
Accept: text / html, charset = utf - 8
Connection: close
Host: {host}
" + "\r\n\r\n";
sslStream.AuthenticateAsClient(host);
using var reader = new StreamReader(sslStream, Encoding.UTF8);
byte[] bytes = Encoding.UTF8.GetBytes(message);
sslStream.Write(bytes, 0, bytes.Length);
var response = reader.ReadToEnd();

public static bool ValidateServerCertificate(
    object sender, 
    X509Certificate certificate,
    X509Chain chain, 
    SslPolicyErrors sslPolicyErrors)
{
    return true;
}

但这段代码的运行结果极不稳定，会返回302、301、403、200等多种HTTP状态码，想了解导致这种不一致的原因以及对应的修复方案。

原因分析 #

• 请求头格式错误：Accept头中存在多余空格（text / html、charset = utf - 8），不符合HTTP规范，服务器解析时会判定为无效请求头，返回异常响应。
• 缺少关键请求头：未携带User-Agent，Stack Overflow的反爬机制会将无UA的请求识别为爬虫，返回403；同时缺少Accept-Language等头信息，可能触发服务器地域路由逻辑，返回301/302重定向。
• 未处理重定向逻辑：代码直接读取响应内容，没有解析Location头发起跳转请求，因此会直接得到301/302状态码，而非最终页面的200响应。
• 证书验证不规范：强制返回true跳过所有证书验证，若SSL握手过程中出现证书链异常（如过期、不匹配），会导致连接不稳定，间接引发各类状态码。

修复方案 #

1. 修正请求头格式与内容 #

移除请求头中的多余空格，添加User-Agent等必要头信息，符合HTTP规范：

var message = @$"GET {uri.AbsolutePath} HTTP/1.1
Accept: text/html, charset=utf-8
Connection: close
Host: {host}
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36
Accept-Language: en-US,en;q=0.9
" + "\r\n\r\n";

2. 实现重定向处理 #

解析响应状态码，若为301/302，提取Location头重新发起请求（限制重定向次数防止死循环）：

string response = reader.ReadToEnd();
// 解析状态码
int statusCode = int.Parse(response.Split(' ')[1]);
if (statusCode is 301 or 302)
{
    // 提取Location头
    int locationIndex = response.IndexOf("Location: ", StringComparison.OrdinalIgnoreCase);
    if (locationIndex != -1)
    {
        int endIndex = response.IndexOf("\r\n", locationIndex);
        string newUrl = response.Substring(locationIndex + 10, endIndex - locationIndex - 10).Trim();
        // 重新发起请求（需将请求逻辑封装为可复用方法）
        response = FetchHtml(newUrl);
    }
}

3. 规范证书验证逻辑 #

仅在无证书错误时返回true，避免潜在连接问题：

public static bool ValidateServerCertificate(
    object sender, 
    X509Certificate certificate,
    X509Chain chain, 
    SslPolicyErrors sslPolicyErrors)
{
    return sslPolicyErrors == SslPolicyErrors.None;
}

4. 改用HttpClient（推荐） #

手动实现TCP+SSL请求过于底层，.NET内置的HttpClient已封装所有HTTP规范处理，稳定性更高：

using var httpClient = new HttpClient();
httpClient.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36");
httpClient.DefaultRequestHeaders.Accept.ParseAdd("text/html, charset=utf-8");
httpClient.DefaultRequestHeaders.AcceptLanguage.ParseAdd("en-US,en;q=0.9");

var response = await httpClient.GetAsync("https://www.stackoverflow.com/questions");
response.EnsureSuccessStatusCode(); // 自动校验2xx状态码，否则抛出异常
var html = await response.Content.ReadAsStringAsync();

内容的提问来源于stack exchange，提问作者IOEnthusiast