C# HttpWebRequest等待跳转结果：获取CrystalDiskInfo下载链接问题

你的代码无法获取正确下载链接的核心原因是：目标网站的5秒倒计时跳转属于前端跳转（通常是通过<meta refresh>标签或JavaScript实现），而非标准的HTTP 3xx状态码重定向。HttpWebRequest.AllowAutoRedirect仅会自动跟进HTTP协议层面的重定向，对前端跳转无效，因此需要手动解析页面内容提取真实跳转链接。

解决方案步骤 #

1. 禁用自动重定向，获取跳转页面的完整HTML内容
2. 从HTML中解析出跳转目标链接（优先处理meta refresh，再处理JS跳转）
3. 使用提取到的真实链接发起下载请求

完整代码示例 #

using System;
using System.IO;
using System.Net;
using System.Text.RegularExpressions;
// .NET Core/.NET 5+ 请用 System.Net.WebUtility 替代 System.Web.HttpUtility
using System.Web;

public class RedirectHandler
{
    public static string GetRealDownloadUrl(string redirectUrl)
    {
        HttpWebRequest request = (HttpWebRequest)WebRequest.Create(redirectUrl);
        // 禁用自动重定向，因为是前端跳转
        request.AllowAutoRedirect = false;
        request.CookieContainer = new CookieContainer();
        request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"; // 模拟浏览器UA，避免被拦截

        using (HttpWebResponse response = (HttpWebResponse)request.GetResponse())
        using (StreamReader reader = new StreamReader(response.GetResponseStream()))
        {
            string htmlContent = reader.ReadToEnd();
            return ExtractRedirectTarget(htmlContent, redirectUrl);
        }
    }

    private static string ExtractRedirectTarget(string htmlContent, string baseUrl)
    {
        // 匹配meta refresh标签：<meta http-equiv="refresh" content="5; url=https://xxx">
        Match metaRefreshMatch = Regex.Match(htmlContent, 
            @"<meta[^>]+http-equiv=""refresh""[^>]+content=""\d+;\s*url=(.+?)""", 
            RegexOptions.IgnoreCase | RegexOptions.Singleline);
        
        if (metaRefreshMatch.Success)
        {
            string targetUrl = metaRefreshMatch.Groups[1].Value;
            // 解码HTML转义字符（比如&amp;转成&）
            targetUrl = HttpUtility.HtmlDecode(targetUrl);
            // 处理相对路径，拼接成绝对URL
            return EnsureAbsoluteUrl(targetUrl, baseUrl);
        }

        // 匹配JavaScript跳转：window.location.href = "https://xxx"
        Match jsRedirectMatch = Regex.Match(htmlContent, 
            @"window\.location(?:\.href)?\s*=\s*[""'](.+?)[""']", 
            RegexOptions.IgnoreCase | RegexOptions.Singleline);
        
        if (jsRedirectMatch.Success)
        {
            string targetUrl = jsRedirectMatch.Groups[1].Value;
            targetUrl = HttpUtility.HtmlDecode(targetUrl);
            return EnsureAbsoluteUrl(targetUrl, baseUrl);
        }

        throw new InvalidOperationException("未能从跳转页面中提取到目标链接");
    }

    private static string EnsureAbsoluteUrl(string url, string baseUrl)
    {
        if (Uri.IsWellFormedUriString(url, UriKind.Absolute))
        {
            return url;
        }
        // 拼接相对路径为绝对URL
        Uri baseUri = new Uri(baseUrl);
        return new Uri(baseUri, url).AbsoluteUri;
    }
}

// 使用示例
// string realDownloadUrl = RedirectHandler.GetRealDownloadUrl("https://crystalmark.info/redirect.php?product=CrystalDiskInfo");

关键说明 #

• 模拟浏览器User-Agent：部分网站会拦截非浏览器的请求，添加UA可以避免被拒绝访问
• 多方式解析跳转：同时支持meta标签和JS跳转，覆盖网站可能的实现方式
• 相对路径处理：确保提取的链接是绝对路径，避免后续请求失败

内容的提问来源于stack exchange，提问作者String SMBW