.NET Core中从Azure Blob Storage生成大体积Zip文件方案咨询

一、可以通过流式处理实现该任务，且这是唯一符合内存限制的可行方案 #

放弃本地临时文件夹存储逻辑，采用端到端流式处理，全程无需加载大文件到内存或磁盘：

• 初始化目标公共Blob（Block Blob类型）的写入流：通过Blob SDK的OpenWriteAsync方法开启，设置64MB或100MB的分块大小（匹配Blob块大小限制）。
• 在写入流之上创建流式Zip归档：以ZipArchiveMode.Create模式初始化（如.NET中的ZipArchive），禁用内存缓存，确保仅处理当前流数据。
• 流式处理源Blob：遍历源Blob时直接打开读取流（OpenReadAsync），无需下载到本地；在Zip归档中创建对应条目，将源Blob的读取流直接复制到条目写入流——整个过程仅占用当前文件的内存（约100KB），完全可控。
• 元数据CSV同步流式上传：初始化CSV目标Blob的写入流，每处理一个文件就写入一行元数据，无需本地保存完整CSV文件。
• 完成后收尾：所有文件处理完毕，关闭Zip归档（自动将Zip中央目录写入流末尾），再关闭Blob写入流，完成Zip文件的上传。

二、关于Azure Blob动态创建大Zip的疑问解答 #

• 你的假设不正确。Azure Blob的Append Blob支持直接追加数据块，无需下载整个文件后重新上传，但Zip文件结构不适合用Append Blob创建：
  Zip的核心索引（中央目录）存储在文件末尾，若用Append Blob逐个追加文件内容，最后无法修改Blob内容写入中央目录，生成的Zip会因缺失索引而无法正常解压。

• 生成超过2GB的Zip文件完全可行：
  应使用Block Blob结合流式写入+分块上传的方式。Block Blob支持最大190.7TB的文件大小，SDK会自动将流式写入的数据分割成块（最大100MB）逐个上传，全程无需将完整Zip加载到内存，完全满足40-50GB甚至更大的Zip生成需求。

内容的提问来源于stack exchange，提问作者Shubham Saxena