如何解决WebClient检测CSV文件URL存在性失效的问题？

问题场景 #

开发程序获取Web服务器上的CSV文件URL集合并下载到本地，使用WebClient.DownloadFile()时遇到问题：当目标文件不存在时，服务器不返回404，而是通过302重定向到一个返回200 OK的错误页面，导致错误页面的HTML被保存为CSV文件。尝试通过HEAD请求预检测文件存在性，但代码未按预期工作。

代码问题分析 #

• 自动跟随重定向：WebRequest默认会自动处理302重定向，导致HEAD请求会跳转到错误页面并返回200，使URLExists错误地认为文件存在。
• 空catch块吞异常：所有异常被静默忽略，无法排查请求过程中的错误（如超时、连接问题等）。
• 未验证响应内容类型：即使状态码正常，也未确认返回的是CSV文件，无法彻底避免错误页面被下载。

修复方案 #

1. 修改HEAD请求检测逻辑，禁用自动重定向 #

在URLExists方法中禁用自动重定向，直接检查原URL的响应状态码，精准判断文件是否存在：

public static bool URLExists(string url)
{
    using HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(url);
    webRequest.Timeout = 1200; // 毫秒
    webRequest.Method = "HEAD";
    webRequest.AllowAutoRedirect = false; // 禁用自动重定向
    webRequest.UserAgent = "Only a test!"; // 保持一致的User-Agent，避免服务器拦截

    try
    {
        using HttpWebResponse response = (HttpWebResponse)webRequest.GetResponse();
        // 根据服务器行为：存在的CSV返回200，不存在则返回302
        return response.StatusCode == HttpStatusCode.OK;
    }
    catch (WebException ex)
    {
        if (ex.Response is HttpWebResponse errorResponse)
        {
            // 302代表文件不存在，返回false
            if (errorResponse.StatusCode == HttpStatusCode.Found)
            {
                return false;
            }
        }
        // 其他异常（超时、连接失败等）均判定为文件不可用
        return false;
    }
}

2. 优化下载逻辑，增加内容类型验证 #

下载时同样禁用自动重定向，并验证响应的Content-Type是否为CSV类型，双重保障下载有效性：

public static void Main()
{
    var fileUrl = "https://www.ffiec.gov/npw/FinancialReport/ReturnFinancialReportCSV?rpt=FRY9C&id=1123944&dt=20240331";

    if (URLExists(fileUrl))
    {
        Console.WriteLine("Downloading file");
        try
        {
            var location = @"C:\Users\Downloads\FRY9C\";
            var fileSavePath = Path.Combine(location, "testFile.csv"); // 用Path.Combine避免路径拼接错误
            Directory.CreateDirectory(location); // 确保保存目录存在

            using WebClient cln = new WebClient();
            cln.UseDefaultCredentials = true;
            cln.Proxy.Credentials = CredentialCache.DefaultCredentials;
            cln.Headers.Add("user-agent", "Only a test!");
            cln.AllowAutoRedirect = false; // 禁用自动重定向

            // 先验证内容类型再保存
            using (var responseStream = cln.OpenRead(fileUrl))
            {
                var contentType = cln.ResponseHeaders["Content-Type"];
                // 验证是否为CSV类型（兼容text/csv、application/csv等变体）
                if (!contentType?.Contains("csv", StringComparison.OrdinalIgnoreCase) ?? false)
                {
                    Console.WriteLine("不是有效的CSV文件");
                    return;
                }
                // 写入文件
                using (var fileStream = new FileStream(fileSavePath, FileMode.Create))
                {
                    responseStream.CopyTo(fileStream);
                }
            }
        }
        catch (WebException ex)
        {
            Console.WriteLine($"下载错误: {ex.Message}");
        }
        catch (Exception ex)
        {
            Console.WriteLine($"其他错误: {ex.Message}");
        }
    }
    else
    {
        Console.WriteLine("文件不存在");
    }
}

关键修复点说明 #

• 禁用自动重定向：让请求停留在原URL，直接获取服务器对目标文件的响应状态，避免被错误页面干扰判断。
• 明确状态码判断：依据服务器的实际行为（存在返回200，不存在返回302），精准判定文件状态。
• 内容类型验证：即使状态码正常，再通过Content-Type确认返回的是CSV文件，彻底避免下载错误内容。
• 移除空catch块：捕获并处理特定异常，便于排查问题，同时输出错误信息辅助调试。
• 路径处理优化：使用Path.Combine拼接路径、提前创建目录，避免因路径问题导致的保存失败。

内容的提问来源于stack exchange，提问作者Srav