使用Task.WhenAll多线程下载Blob存储文件的性能优化咨询

嘿，作为C#新手能想到用多线程优化已经很棒了！不过你的多线程实现确实存在几个问题，而且还有不少可以优化的空间来提升Blob读取速度，咱们一步步来看：

你的多线程实现存在的问题 #

• 线程安全隐患：你用的List<string> myList不是线程安全的！多个线程同时调用myList.Add(downloadedData)会引发数据竞争，轻则数据丢失、顺序混乱，重则直接抛出异常。必须换成专门的线程安全集合。
• 多余的Task.Run包装：你的异步代码本身就是async方法，没必要用Task.Run包裹，这会额外创建线程池线程，增加不必要的开销，直接返回异步任务即可。
• 并发数可能过高：Semaphore设为50可能超出了Azure Blob存储的最佳并发限制，太高的并发容易触发服务端限流（Throttling），反而拖慢整体速度。建议先降到10-20区间，再根据实际情况调整。

读取Blob存储文件的最快优化方案 #

结合你的场景，这里有几个关键优化点，能大幅提升性能：

1. 替换为线程安全集合 #

把List<string> myList改成ConcurrentBag<string>，它专为多线程添加场景设计，无需额外同步操作：

var myList = new ConcurrentBag<string>();

2. 使用Parallel.ForEachAsync简化并发管理（.NET 6+） #

.NET 6引入的Parallel.ForEachAsync比手动管理Task列表和Semaphore更简洁高效，内置了并发控制逻辑，能自动优化异步任务的调度：

try
{
    var sourceClient = new BlobServiceClient(storageConnectionString);
    var foundItems = sourceClient.FindBlobsByTags("Client = 'TEST'").ToList();
    // 调整合适的并发数，建议先从15开始测试
    var options = new ParallelOptions { MaxDegreeOfParallelism = 15 };

    await Parallel.ForEachAsync(foundItems, options, async (blob, token) =>
    {
        var blobClient = blobContainer.GetBlockBlobClient(blob.BlobName);
        // 直接读取为字符串，减少中间对象的内存开销
        string downloadedData = await blobClient.DownloadContentAsStringAsync(token);
        myList.Add(downloadedData);
    });
}
catch (Exception ex)
{
    Console.WriteLine($"Exception: {ex.Message}");
}

3. 简化Blob读取流程 #

你之前的DownloadContentAsync().Content.ToString()可以一步到位，用DownloadContentAsStringAsync直接获取字符串，省去中间BlobDownloadResult对象的创建，节省内存和处理时间。

4. 复用客户端对象 #

BlobServiceClient和BlobContainerClient都是线程安全的，建议在应用生命周期内复用这些对象，而不是每次操作都创建新实例。这样能复用HTTP连接池，大幅提升请求效率。

5. 排查限流问题 #

如果优化后速度还是不理想，可以登录Azure Portal查看Blob存储的监控指标，确认是否出现了限流（Throttling）情况。如果有，继续降低并发数，或者考虑升级存储账户的性能层级（比如从标准级升级到高级级）。

6. 小Blob的额外优化 #

如果你的Blob都是几KB到几十KB的小文件，除了合理控制并发数，还可以确保开启HTTP/2（最新版Azure.Storage.Blobs库默认已支持），它能提升多并发请求的传输效率。

这些优化调整后，处理500个文件的速度应该会有明显提升，远低于当前的25秒。

内容的提问来源于stack exchange，提问作者Blue