使用HttpClient批量下载文件时出现卡顿问题求助

一、卡顿在CopyToAsync的核心原因 #

• 网络流停滞：服务器端未持续发送响应数据，可能是服务器异常、网络链路静默中断（未触发TCP断开），导致客户端网络流(download)一直处于等待读取状态，CopyToAsync无法推进。
• 文件IO阻塞：目标文件写入被阻塞，比如磁盘IO负载过高、空间不足、文件被杀毒软件/备份进程锁定，fileStream写入停滞直接拖慢CopyToAsync。
• 并发过载引发排队：多程序同时发起大量请求，超出目标服务器连接限制，部分请求在连接池排队，后续流读取被长时间阻塞。

二、HttpClient并发数限制建议 #

必须限制并发数，否则极易引发服务器限流或网络拥堵：

• .NET Framework默认单目标服务器连接数为2，.NET Core/.NET 5+默认是100，但单机器多程序+单程序200个任务的场景，总并发数远超合理范围。
• 建议用SemaphoreSlim控制单程序并发数（比如10-20，根据服务器承载能力调整），修改DownloadFilesAsync示例：

public static async Task<bool> DownloadFilesAsync(
    HttpClient httpClient,
    string[] sourceUris,
    string[] destinationFilePaths)
{
    // 限制并发数为15，可按需调整
    using var semaphore = new SemaphoreSlim(15);
    List<Task<bool>> downloadTasks = new List<Task<bool>>();
    
    for (int index = 0; index < sourceUris.Length; index++)
    {
        var uri = sourceUris[index];
        var path = destinationFilePaths[index];
        downloadTasks.Add(Task.Run(async () =>
        {
            await semaphore.WaitAsync().ConfigureAwait(false);
            try
            {
                return await DownloadFileAsync(httpClient, uri, path).ConfigureAwait(false);
            }
            finally
            {
                semaphore.Release();
            }
        }));
    }

    bool[] results = await Task.WhenAll(downloadTasks).ConfigureAwait(false);
    return results.All(r => r); // 替换原未定义的success变量，返回所有任务是否成功
}

同时移除冗余的DownloadFile方法：异步方法本身返回Task<bool>，无需用Task.Run额外包装，只会浪费线程池资源。

三、超时设置的最佳实践 #

1. 全局请求超时 #

直接设置HttpClient的Timeout属性，控制整个请求（从发送到响应完成）的总时长：

httpClient.Timeout = TimeSpan.FromMinutes(5); // 大文件可适当延长

注意：该超时针对整个请求周期，若流已开始传输但中途停滞，不会触发超时。

2. 无进度时触发超时（针对流停滞场景） #

需自定义流读取的超时检测，结合CancellationToken监控进度：
修改DownloadHttpContentAsync方法，添加无进度超时控制：

public static async Task DownloadHttpContentAsync(HttpContent httpContent, string fileName, TimeSpan? inactivityTimeout = null)
{
    var timeout = inactivityTimeout ?? TimeSpan.FromMinutes(2);
    using var cts = new CancellationTokenSource();
    using var timeoutTask = Task.Delay(timeout, cts.Token);
    
    using (var download = await httpContent.ReadAsStreamAsync().ConfigureAwait(false))
    using (var fileStream = new FileStream(fileName, FileMode.Create))
    {
        var lastProgressTime = DateTime.UtcNow;
        // 后台监控进度，超时则取消
        _ = Task.Run(async () =>
        {
            while (!cts.IsCancellationRequested)
            {
                await Task.Delay(TimeSpan.FromSeconds(1)).ConfigureAwait(false);
                if (DateTime.UtcNow - lastProgressTime > timeout)
                {
                    cts.Cancel();
                    break;
                }
            }
        });

        // 自定义流拷贝，更新进度时间
        var buffer = new byte[81920];
        int bytesRead;
        while ((bytesRead = await download.ReadAsync(buffer, 0, buffer.Length, cts.Token).ConfigureAwait(false)) > 0)
        {
            lastProgressTime = DateTime.UtcNow;
            await fileStream.WriteAsync(buffer, 0, bytesRead, cts.Token).ConfigureAwait(false);
        }

        cts.Cancel(); // 完成后终止超时监控任务
        await timeoutTask.ConfigureAwait(false);
    }
}

当流超过指定时间无新数据时，会触发取消操作，终止拷贝并抛出异常，进而触发重试逻辑。

四、其他关键优化点 #

• 修复URL拼接逻辑：每次重试会重复追加&uniqueId=xxx，导致URL无限变长，应基于原始URL重新拼接：

await RetryHelper.RunWithRetryAsync(async () =>
{
    var uniqueId = Guid.NewGuid();
    // 基于原始URL重新拼接，避免重复追加参数
    var uniqueDownloadUrl = $"{downloadUrl}&uniqueId={uniqueId}";
    
    await client.DownloadFileTaskAsync(uniqueDownloadUrl, destinationPath).ConfigureAwait(false);
    if (!File.Exists(destinationPath))
    {
        throw new FileNotFoundException($"File did not download successfully. File does not exist at its destination path of {destinationPath}");
    }
}, ...);

内容的提问来源于stack exchange，提问作者user2460953