.NET 5程序脱离调试器运行时WebClient批量下载成功率骤降问题

你遇到的差异表现本质是并发过载导致的，附加调试器的操作会拖慢线程启动速度，反而变相降低了实际并发量，避开了问题触发条件，具体原因如下：

• 直接为1000+下载任务各自创建独立Thread，瞬间发起的大量请求会触发本地系统TCP端口占用限制、目标服务器的并发限流规则，大量请求被直接拒绝。
• .NET桌面程序默认的全局HTTP最大并发连接数（ServicePointManager.DefaultConnectionLimit）阈值很低，过高的并发请求会被框架本身排队，超出超时时间后直接失败。
• 每次新建WebClient会独立创建HTTP连接，没有连接复用机制，大量短连接会造成TCP端口进入TIME_WAIT状态无法及时释放，导致新连接无法建立。
• 1000+前台线程同时运行会导致CPU上下文切换开销极高，线程调度延迟大幅上升，很多下载任务还没开始执行就触发了超时。

• 限制并发下载数，不要裸开大量线程，使用SemaphoreSlim控制并发量级，通常设置为10~50即可（可根据目标服务器的耐受程度调整）。
• 调高全局HTTP最大并发连接数上限，避免框架层面的请求排队。
• 改用HttpClient替代已过时的WebClient，复用HTTP连接降低网络开销。
• 增加失败重试逻辑，应对偶发的网络波动问题。

using System;
using System.IO;
using System.Net.Http;
using System.Threading;
using System.Threading.Tasks;

namespace Dumper
{
    internal sealed class Program
    {
        // 并发数可根据实际情况调整
        private const int MaxConcurrentDownloads = 20;
        private static readonly SemaphoreSlim _downloadSemaphore = new(MaxConcurrentDownloads, MaxConcurrentDownloads);
        private static readonly HttpClient _httpClient = new HttpClient()
        {
            Timeout = TimeSpan.FromSeconds(30)
        };

        private static async Task Main(string[] args)
        {
            ServicePointManager.DefaultConnectionLimit = 100;
            
            Directory.CreateDirectory(args[1]);
            var uris = File.ReadAllLines(args[0]);
            var downloadTasks = new Task[uris.Length];

            for (int i = 0; i < uris.Length; i++)
            {
                var uri = uris[i];
                var filePath = Path.Combine(args[1], uri.Split('/')[^1]);
                downloadTasks[i] = DownloadFileAsync(filePath, uri);
            }

            await Task.WhenAll(downloadTasks);
        }

        private static async Task DownloadFileAsync(string path, string url)
        {
            await _downloadSemaphore.WaitAsync();
            try
            {
                int retryCount = 3;
                while (retryCount > 0)
                {
                    try
                    {
                        var processedUrl = url.Replace("%", "%25");
                        using var response = await _httpClient.GetAsync(new Uri(processedUrl), HttpCompletionOption.ResponseHeadersRead);
                        response.EnsureSuccessStatusCode();
                        await using var fileStream = new FileStream(path, FileMode.Create, FileAccess.Write, FileShare.None);
                        await response.Content.CopyToAsync(fileStream);
                        Console.WriteLine($"{path} has been successfully download.");
                        return;
                    }
                    catch (Exception e)
                    {
                        retryCount--;
                        if (retryCount == 0)
                        {
                            Console.WriteLine($"{path} failed to download after 3 retries: {e}");
                        }
                        else
                        {
                            await Task.Delay(1000);
                        }
                    }
                }
            }
            finally
            {
                _downloadSemaphore.Release();
            }
        }
    }
}

内容的提问来源于stack exchange，提问作者Kazáni