Azure容器中Blob删除过慢，寻求高效批量删除方案

一、现有代码的核心问题 #

你当前使用旧版Azure存储SDK（Microsoft.Azure.Storage.Blob）循环单个删除Blob，存在两个致命效率问题：

1. 单条删除请求串行执行，100万条数据的耗时会被放大数百倍
2. ListBlobs()默认仅返回第一级Blob，且未处理分页逻辑，可能遗漏深层路径的文件

二、推荐方案：使用新版SDK批量删除（最快最可靠） #

改用Azure.Storage.Blobs包（最新版Azure存储SDK），原生支持批量删除接口，一次最多可删除1000个Blob，配合异步分页获取，效率提升显著，且完美适配Hangfire后台任务调度。

代码示例 #

using Azure.Storage.Blobs;
using Azure.Storage.Blobs.Models;
using System.Collections.Generic;
using System.Threading.Tasks;

public async Task BulkDeleteBlobsAsync(string jobId)
{
    var blobServiceClient = new BlobServiceClient(Config.StorageConnStr);
    var containerClient = blobServiceClient.GetBlobContainerClient(ExportContainerName);
    var blobPrefix = $"{jobId.ToLower()}/";

    var blobNames = new List<string>();
    // 分页遍历指定前缀下的所有Blob
    await foreach (var blobItem in containerClient.GetBlobsAsync(prefix: blobPrefix))
    {
        blobNames.Add(blobItem.Name);
        
        // 每攒够1000个就批量删除（Azure批量删除上限为1000）
        if (blobNames.Count >= 1000)
        {
            await containerClient.DeleteBlobsAsync(blobNames);
            blobNames.Clear();
        }
    }

    // 处理剩余不足1000的Blob
    if (blobNames.Count > 0)
    {
        await containerClient.DeleteBlobsAsync(blobNames);
    }
}

方案优势 #

• 批量请求大幅减少网络开销，速度比单条删除提升数百倍
• 异步逻辑适配Hangfire的后台任务模型，不阻塞主线程
• 自动处理Blob分页，不会遗漏深层路径的文件

三、修复AzCopy在Azure Web App中的运行问题 #

若坚持使用AzCopy，需解决路径、权限及执行方式的核心问题：

1. 确保AzCopy路径正确 #

Azure Web App的文件根目录：

• Windows环境：D:\home\site\wwwroot
• Linux环境：/home/site/wwwroot

调用时必须使用绝对路径，避免相对路径找不到文件：

var azCopyPath = Path.Combine(Environment.CurrentDirectory, "azcopy.exe");
// Linux环境替换为"azcopy"（无需.exe后缀）

2. 使用托管身份认证（解决权限+密钥泄露问题） #

不要用连接字符串，给Web App分配系统托管身份，并为该身份授予存储容器的存储Blob数据贡献者或存储Blob数据所有者权限，然后AzCopy通过--identity参数完成认证：

3. Hangfire中执行AzCopy的代码示例 #

using System.Diagnostics;
using System.Threading.Tasks;

public void RunAzCopyDelete(string jobId)
{
    var azCopyPath = Path.Combine(Environment.CurrentDirectory, "azcopy.exe");
    var blobUrl = $"https://{YourStorageAccountName}.blob.core.windows.net/{ExportContainerName}/{jobId.ToLower()}/";
    var arguments = $"rm \"{blobUrl}\" --recursive --identity";

    var startInfo = new ProcessStartInfo
    {
        FileName = azCopyPath,
        Arguments = arguments,
        RedirectStandardOutput = true,
        RedirectStandardError = true,
        UseShellExecute = false,
        CreateNoWindow = true
    };

    using var process = Process.Start(startInfo);
    process.WaitForExit();

    // 可选：捕获输出用于排查问题
    var output = process.StandardOutput.ReadToEnd();
    var error = process.StandardError.ReadToEnd();
}

注意事项 #

• 需根据Web App的操作系统选择对应版本的AzCopy（Windows版/Linux版）
• 确保AzCopy文件的属性设置为始终复制，部署时不会被忽略

四、终极方案：存储生命周期管理（零代码） #

如果你的删除需求是按前缀（如jobId）或时间定期清理，直接使用Azure存储的生命周期管理规则，完全托管，无需代码，效率最高：

1. 进入目标存储账户 -> 数据管理 -> 生命周期管理
2. 添加规则：
   • 规则范围：指定Blob前缀（如{jobId前缀}/）
   • 动作：选择删除Blob
   • 触发条件：设置删除时机（如创建后1天）
3. 保存规则后，Azure后台自动执行批量删除，无需手动触发

内容的提问来源于stack exchange，提问作者Frank