如何从多个Azure Blob文件创建可浏览器下载的压缩包？

针对5GB级别的压缩包需求，以下是几种无需将文件加载到Azure Functions内存的可行方案：

方案1：Azure Functions流式压缩直接返回响应 #

通过流式处理逐个读取Blob的流并写入压缩流，直接输出到HTTP响应中，全程无大文件驻留内存，适合按需生成压缩包。

实现思路 #

• 利用ZipArchive（.NET）或zipfile（Python）的流式能力，将HTTP响应的输出流作为压缩包的写入目标。
• 逐个打开源Blob的读取流，直接复制到压缩包的条目流中，完成后立即释放资源。

C#代码示例 #

[FunctionName("StreamZipDownload")]
public static async Task<IActionResult> Run(
    [HttpTrigger(AuthorizationLevel.Function, "get", Route = "download/zip")] HttpRequest req,
    ILogger log,
    [Blob("your-source-container", FileAccess.Read)] CloudBlobContainer sourceContainer)
{
    // 从请求参数获取需要打包的Blob文件名列表（示例）
    var blobNames = req.Query["files"].ToString().Split(',').ToList();
    if (!blobNames.Any())
    {
        return new BadRequestObjectResult("No files specified");
    }

    var response = new HttpResponseMessage(HttpStatusCode.OK);
    response.Content = new PushStreamContent(async (outputStream, _, __) =>
    {
        using var zipArchive = new ZipArchive(outputStream, ZipArchiveMode.Create, leaveOpen: false);
        foreach (var blobName in blobNames)
        {
            var blob = sourceContainer.GetBlockBlobReference(blobName.Trim());
            if (!await blob.ExistsAsync()) continue;

            var zipEntry = zipArchive.CreateEntry(Path.GetFileName(blobName));
            using var blobStream = await blob.OpenReadAsync();
            using var entryStream = zipEntry.Open();
            await blobStream.CopyToAsync(entryStream);
        }
    });

    response.Content.Headers.ContentType = new MediaTypeHeaderValue("application/zip");
    response.Content.Headers.ContentDisposition = new ContentDispositionHeaderValue("attachment")
    {
        FileName = $"archive_{DateTime.UtcNow:yyyyMMddHHmmss}.zip"
    };

    return new HttpResponseMessageResult(response);
}

注意事项 #

• 调整Function超时时间：在host.json中设置functionTimeout为足够长的时间（比如"01:00:00"），5GB文件的流式处理可能需要几十分钟。
• 使用Premium或Dedicated计划：Consumption计划最长执行时间限制为60分钟，且资源受限，大文件处理建议用Premium计划。
• 网络优化：确保函数与Blob存储在同一区域，减少跨区域传输延迟。

方案2：借助Azure Logic Apps预生成压缩包并返回SAS链接 #

将压缩任务转移到Logic Apps，Azure Functions仅负责触发任务和返回下载链接，避免函数长时间占用资源。

实现步骤 #

1. Azure Functions接收请求：获取需要打包的Blob列表，触发Logic Apps工作流。
2. Logic Apps执行压缩：
   • 遍历指定的源Blob，逐个读取流。
   • 将流写入目标Blob存储中的Zip文件（可使用自定义Azure Function动作实现流式压缩）。
3. 生成SAS链接：压缩完成后，生成目标Blob的SAS访问令牌，返回给浏览器，用户直接从Blob存储下载压缩包。

优势 #

• 函数无需处理长时间响应，仅做轻量级触发。
• Logic Apps的工作流可配置重试、错误处理，稳定性更高。

方案3：使用Azure Batch处理大文件压缩 #

对于5GB级别的压缩任务，Azure Batch提供专门的计算资源，适合处理CPU/IO密集型的批量操作。

实现步骤 #

1. 创建Batch池：配置合适的VM规格（如Standard_D2s_v3），根据需求调整节点数量。
2. Azure Functions提交任务：收到下载请求后，向Batch服务提交任务，指定源Blob列表、目标Blob路径。
3. Batch任务执行压缩：
   • 任务脚本（PowerShell/Python）通过SAS令牌读取源Blob文件到本地临时存储。
   • 执行压缩操作后，将压缩包上传回目标Blob存储。
4. 返回下载链接：任务完成后，生成目标Blob的SAS URL返回给用户。

优势 #

• 资源隔离，不会影响Azure Functions的正常运行。
• 支持并行处理多个文件，压缩效率更高。

通用注意事项 #

• SAS令牌权限：确保用于读取源Blob和写入目标Blob的SAS令牌具有足够的权限（读、写），且设置合理的过期时间。
• 存储类型选择：目标Blob使用标准存储账户，支持大文件上传（最大支持4.75TB的块Blob）。
• 错误处理：添加文件不存在校验、网络异常重试逻辑，避免任务失败无反馈。

内容的提问来源于stack exchange，提问作者Santosh Pisini