如何使用C#实现S3文件无本地/EFS中转的流式压缩并回传S3
C# 实现S3文件流式压缩并直传回S3的改造方案
改造核心方向
原实现的瓶颈是所有文件操作都依赖本地文件系统:既从本地FileInfo读取待压缩内容,也把生成的ZIP落地到本地路径。改造时需要完全替换两个环节的本地依赖,实现端到端流操作:
- 替换本地文件读取逻辑:对接AWS S3客户端,直接拉取待压缩S3对象的响应流,将内容写入ZIP条目,全程不读落地文件
- 替换ZIP本地写入逻辑:打通ZIP压缩流和S3上传流的管道,边压缩边把生成的ZIP字节实时回传S3,全程不将ZIP落地到本地或EFS
关键实现注意事项
- 依赖准备:需要引入
AWSSDK.S3NuGet包,压缩能力直接使用.NET内置的System.IO.Compression组件即可,无需额外第三方压缩库 - 入参调整:原来的
List<FileInfo>类型入参需要替换为自定义的S3对象引用列表,每个条目仅记录待压缩文件的来源Bucket、对象Key、ZIP内显示名,不绑定任何本地路径 - 无落地流管道搭建:借助.NET内置的
System.IO.Pipelines创建内存管道,将管道的写入端作为ZIP压缩器的输出目标,将管道的读取端直接绑定到S3上传接口的输入流。压缩任务生成的ZIP字节会通过管道实时推送给上传任务,完全避免全量缓存整个ZIP到内存的问题 - 内存优化:跳过原实现中
File.ReadAllBytes将整个文件读为字节数组的逻辑,S3返回的对象响应流可以直接通过CopyToAsync复制到对应ZIP条目流,单文件占用内存仅为管道缓冲的几KB,不会随待压缩文件的总大小线性增长
改造后可直接运行的示例代码
using System.IO.Compression; using System.IO.Pipelines; using Amazon.S3; using Amazon.S3.Model; /// <summary> /// 无落地压缩并直传S3的实现 /// </summary> /// <param name="targetBucketName">生成的ZIP存储的目标S3桶</param> /// <param name="targetZipObjectName">生成的ZIP在S3中的对象Key</param> /// <param name="filesToZip">待压缩的S3对象列表</param> /// <param name="s3Client">初始化好的S3客户端实例</param> public static async Task CreateZipDirectlyToS3( string targetBucketName, string targetZipObjectName, List<S3ObjectReference> filesToZip, IAmazonS3 s3Client) { LambdaLogger.Log($"开始处理ZIP压缩上传:{targetBucketName}/{targetZipObjectName}"); // 创建内存管道,打通压缩写入端和S3上传读取端 var pipe = new Pipe(); var compressionWriter = pipe.Writer; var uploadReader = pipe.Reader; // 先启动S3上传任务,提前绑定流读取端,避免管道阻塞死锁 var uploadTask = s3Client.UploadObjectFromStreamAsync(new UploadObjectFromStreamRequest { BucketName = targetBucketName, Key = targetZipObjectName, InputStream = uploadReader.AsStream(), AutoCloseStream = true }); // 执行ZIP压缩逻辑 using (var zipArchive = new ZipArchive(compressionWriter, ZipArchiveMode.Create, leaveOpen: true)) { foreach (var s3File in filesToZip) { // 直接从S3拉取对象流,无本地落地 using var s3ObjectStream = await s3Client.GetObjectAsync(s3File.SourceBucketName, s3File.SourceObjectKey); // 在ZIP中创建对应条目 var zipEntry = zipArchive.CreateEntry(s3File.EntryDisplayName, CompressionLevel.Fastest); // 打开条目写入流 using var entryStream = zipEntry.Open(); // 直接流复制内容,不缓存全量文件字节 await s3ObjectStream.ResponseStream.CopyToAsync(entryStream); } } // 通知管道写入端完成,触发上传流程收尾 await compressionWriter.CompleteAsync(); // 等待整个S3上传流程结束 await uploadTask; LambdaLogger.Log($"ZIP压缩上传完成:{targetBucketName}/{targetZipObjectName}"); } /// <summary> /// 待压缩S3对象的引用模型 /// </summary> public class S3ObjectReference { /// <summary>待压缩文件所在的源S3桶</summary> public string SourceBucketName { get; set; } /// <summary>待压缩文件在源桶中的对象Key</summary> public string SourceObjectKey { get; set; } /// <summary>文件在ZIP包内显示的文件名</summary> public string EntryDisplayName { get; set; } }
高频踩坑提示
- 压缩模式选择:必须使用
ZipArchiveMode.Create模式,另外两种Read、Update模式要求流支持随机访问,而S3上传的顺序流不满足该特性,会触发流访问异常 - 执行顺序约束:必须先启动S3上传任务、绑定管道读取端之后,再开始执行压缩逻辑。如果顺序颠倒,管道写入端缓冲写满后会永久阻塞,形成死锁
- 异常传递:如果压缩流程中出现S3读取失败、流中断等问题,需要在调用
compressionWriter.CompleteAsync时传入对应异常,将错误传递给上传任务,避免任务长时间挂起 - 内存适配:如果待压缩文件总大小较大,可通过构造Pipe时的选项调整缓冲上限,平衡内存占用和传输吞吐,无需额外挂载EFS存储
内容的提问来源于stack exchange,提问作者Aniruddha
相关产品推荐
相关产品推荐

