System.Net URL请求未返回预期HTML响应，组织详情页跳转登录问题咨询

问题根因 #

你遇到的问题是典型的请求上下文缺失导致的登录校验失败，核心原因有3个：

1. 你当前代码每次调用请求都会新建HttpClient实例，没有复用请求上下文，也没有配置Cookie存储容器，即便第一次请求偶然通过了校验，第二次请求也不会携带任何之前的凭证信息。你能正常获取/Memberships页面，大概率是该路径存在未登录缓存，或者服务端对该路径的登录校验逻辑存在疏漏，并不是你真的通过了登录态校验。
2. 你的请求没有携带浏览器登录后生成的身份凭证Cookie，你手动在浏览器登录生成的Cookie仅存储在浏览器本地，不会自动被你的代码调用携带。
3. 大部分站点对内部路径会做Referer校验，访问/Organisation路径要求请求头的Referer字段为同站的合法来源（通常是上一级页面/Memberships），你当前的请求没有携带该头字段，直接被服务端拦截跳转到登录页。

解决方案 #

按照以下步骤修改代码即可解决问题：

1. 复用全局HttpClient实例，配置Cookie容器用于存储和自动携带登录凭证
2. 从浏览器的开发者工具-网络面板中，导出登录后站点返回的所有登录相关Cookie（通常是sessionid、auth_token这类字段），写入到Cookie容器中
3. 补全和浏览器一致的请求头，包括User-Agent、Referer等，避免被服务端识别为爬虫拦截

示例修改代码 #

// 全局静态实例，不要每次请求新建
private static readonly HttpClient _client;
private static readonly CookieContainer _cookieContainer = new CookieContainer();

// 静态构造函数初始化HttpClient
static 你自己的类名()
{
    var handler = new HttpClientHandler
    {
        CookieContainer = _cookieContainer,
        UseCookies = true,
        AllowAutoRedirect = true // 允许自动跳转，可根据需要调整
    };
    _client = new HttpClient(handler);
    ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls13;
    
    // 替换为你从浏览器中导出的实际Cookie键值对，有多个Cookie就多次Add
    _cookieContainer.Add(
        new Uri("https://www.ACME.com"), 
        new Cookie("替换为实际Cookie名", "替换为实际Cookie值")
    );
    
    // 补全请求头，替换为你自己浏览器的UA字符串
    _client.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36");
    // 设置Referer为Memberships页面地址
    _client.DefaultRequestHeaders.Referrer = new Uri("https://www.ACME.com/Memberships");
}

private static async Task<string> CallUrl(string fullUrl)
{
    _client.DefaultRequestHeaders.Accept.Clear();
    return await _client.GetStringAsync(fullUrl);
}

如果修改后还是无法正常访问，可以用抓包工具对比浏览器访问/Organisation页面的请求和你代码请求的头信息差异，把缺失的头字段补充完整即可。

内容的提问来源于stack exchange，提问作者maisyk