无法管理重定向：请求协助排查SoccerWay站点重定向处理代码问题

我帮你梳理下代码里的几个关键问题，以及对应的修复方案：

代码里的核心问题 #

• 混合使用HttpWebRequest和WebClient：WebClient默认会自动跟随重定向，这会让你手动获取Location头的逻辑直接失效，相当于做了无用功
• 未处理链式重定向：Soccerway可能存在多次跳转（比如从初始URL→区域URL→最终内容URL），你的代码只取了第一次跳转的地址，没有继续跟进后续跳转
• 未处理相对路径的Location：如果站点返回的是相对路径（比如/teams/...），直接使用会变成无效URL，需要拼接成绝对地址才能访问
• 资源泄漏：HttpWebResponse没有用using语句包裹，会导致连接资源无法及时释放，长期运行可能引发性能问题
• 未覆盖所有3xx状态码：只判断了Location是否存在，但没校验响应状态码是否属于重定向类型（比如301永久重定向、302临时重定向、307临时重定向等）

修复后的代码（推荐使用HttpClient，更现代且易维护） #

HttpWebRequest已经被标记为过时，推荐用HttpClient来处理，下面是完整的重定向处理逻辑：

public static async Task<string> GetHtmlAsync(string url)
{
    using var httpClient = new HttpClient(new HttpClientHandler
    {
        AllowAutoRedirect = false, // 禁用自动重定向，手动控制跳转流程
        UseCookies = true, // 保持会话，Soccerway可能需要Cookie验证
        CookieContainer = new CookieContainer()
    });

    var currentUrl = new Uri(url);
    int redirectCount = 0;
    const int maxRedirects = 5; // 限制最大跳转次数，防止死循环

    while (true)
    {
        using var response = await httpClient.GetAsync(currentUrl);
        
        // 处理所有3xx系列的重定向状态码
        if ((int)response.StatusCode is >= 300 and < 400)
        {
            if (redirectCount >= maxRedirects)
                throw new InvalidOperationException("超过最大重定向次数，可能存在循环跳转");

            // 获取Location头，处理相对路径
            if (response.Headers.TryGetValues("Location", out var locationValues))
            {
                var location = locationValues.First();
                // 自动拼接绝对URL，无需手动处理相对路径
                currentUrl = new Uri(currentUrl, location);
                redirectCount++;
                continue;
            }
            // 如果有重定向状态码但没有Location，视为异常
            throw new InvalidOperationException("重定向响应中缺少Location头");
        }

        // 非重定向状态，确保请求成功
        response.EnsureSuccessStatusCode();
        // 返回HTML内容
        return await response.Content.ReadAsStringAsync();
    }
}

关键优化点说明 #

• 手动控制重定向循环：设置最大跳转次数，避免无限循环跳转的情况
• 自动处理相对路径：用Uri的构造函数自动拼接绝对URL，不用担心站点返回相对路径的问题
• 保持会话Cookie：Soccerway可能会在重定向过程中设置验证Cookie，启用UseCookies确保会话一致性
• 异步编程：使用async/await避免阻塞线程，提升程序整体性能
• 资源安全：所有实现IDisposable的对象都用using包裹，确保资源及时释放

如果你坚持使用HttpWebRequest的修复版本 #

public static string GetHtml(string url)
{
    Uri currentUrl = new Uri(url);
    int redirectCount = 0;
    const int maxRedirects = 5;

    while (true)
    {
        HttpWebRequest webReq = (HttpWebRequest)WebRequest.Create(currentUrl);
        webReq.AllowAutoRedirect = false;
        webReq.CookieContainer = new CookieContainer(); // 保持Cookie会话
        // 模拟浏览器请求头，避免被反爬拦截
        webReq.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36";

        using HttpWebResponse response = (HttpWebResponse)webReq.GetResponse();
        
        if ((int)response.StatusCode is >= 300 and < 400)
        {
            if (redirectCount >= maxRedirects)
                throw new InvalidOperationException("超过最大重定向次数");

            string location = response.Headers["Location"];
            if (string.IsNullOrEmpty(location))
                throw new InvalidOperationException("重定向响应缺少Location头");

            currentUrl = new Uri(currentUrl, location);
            redirectCount++;
            continue;
        }

        // 读取响应内容
        using StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.UTF8);
        return reader.ReadToEnd();
    }
}

额外注意事项 #

Soccerway有反爬机制，频繁请求可能会被封禁IP，建议：

• 添加合理的User-Agent请求头模拟浏览器
• 给请求添加适当的延迟，避免短时间内大量请求

内容的提问来源于stack exchange，提问作者fantaghiro