You need to enable JavaScript to run this app. 如何使用C#实现S3文件无本地/EFS中转的流式压缩并回传S3
优惠活动
大模型
产品
解决方案
定价
更多

如何使用C#实现S3文件无本地/EFS中转的流式压缩并回传S3

C# 实现S3文件流式压缩并直传回S3的改造方案

改造核心方向

原实现的瓶颈是所有文件操作都依赖本地文件系统:既从本地FileInfo读取待压缩内容,也把生成的ZIP落地到本地路径。改造时需要完全替换两个环节的本地依赖,实现端到端流操作:

  • 替换本地文件读取逻辑:对接AWS S3客户端,直接拉取待压缩S3对象的响应流,将内容写入ZIP条目,全程不读落地文件
  • 替换ZIP本地写入逻辑:打通ZIP压缩流和S3上传流的管道,边压缩边把生成的ZIP字节实时回传S3,全程不将ZIP落地到本地或EFS

关键实现注意事项

  • 依赖准备:需要引入AWSSDK.S3 NuGet包,压缩能力直接使用.NET内置的System.IO.Compression组件即可,无需额外第三方压缩库
  • 入参调整:原来的List<FileInfo>类型入参需要替换为自定义的S3对象引用列表,每个条目仅记录待压缩文件的来源Bucket、对象Key、ZIP内显示名,不绑定任何本地路径
  • 无落地流管道搭建:借助.NET内置的System.IO.Pipelines创建内存管道,将管道的写入端作为ZIP压缩器的输出目标,将管道的读取端直接绑定到S3上传接口的输入流。压缩任务生成的ZIP字节会通过管道实时推送给上传任务,完全避免全量缓存整个ZIP到内存的问题
  • 内存优化:跳过原实现中File.ReadAllBytes将整个文件读为字节数组的逻辑,S3返回的对象响应流可以直接通过CopyToAsync复制到对应ZIP条目流,单文件占用内存仅为管道缓冲的几KB,不会随待压缩文件的总大小线性增长

改造后可直接运行的示例代码

using System.IO.Compression;
using System.IO.Pipelines;
using Amazon.S3;
using Amazon.S3.Model;

/// <summary>
/// 无落地压缩并直传S3的实现
/// </summary>
/// <param name="targetBucketName">生成的ZIP存储的目标S3桶</param>
/// <param name="targetZipObjectName">生成的ZIP在S3中的对象Key</param>
/// <param name="filesToZip">待压缩的S3对象列表</param>
/// <param name="s3Client">初始化好的S3客户端实例</param>
public static async Task CreateZipDirectlyToS3(
    string targetBucketName,
    string targetZipObjectName,
    List<S3ObjectReference> filesToZip,
    IAmazonS3 s3Client)
{
    LambdaLogger.Log($"开始处理ZIP压缩上传:{targetBucketName}/{targetZipObjectName}");
    
    // 创建内存管道,打通压缩写入端和S3上传读取端
    var pipe = new Pipe();
    var compressionWriter = pipe.Writer;
    var uploadReader = pipe.Reader;

    // 先启动S3上传任务,提前绑定流读取端,避免管道阻塞死锁
    var uploadTask = s3Client.UploadObjectFromStreamAsync(new UploadObjectFromStreamRequest
    {
        BucketName = targetBucketName,
        Key = targetZipObjectName,
        InputStream = uploadReader.AsStream(),
        AutoCloseStream = true
    });

    // 执行ZIP压缩逻辑
    using (var zipArchive = new ZipArchive(compressionWriter, ZipArchiveMode.Create, leaveOpen: true))
    {
        foreach (var s3File in filesToZip)
        {
            // 直接从S3拉取对象流,无本地落地
            using var s3ObjectStream = await s3Client.GetObjectAsync(s3File.SourceBucketName, s3File.SourceObjectKey);
            // 在ZIP中创建对应条目
            var zipEntry = zipArchive.CreateEntry(s3File.EntryDisplayName, CompressionLevel.Fastest);
            // 打开条目写入流
            using var entryStream = zipEntry.Open();
            // 直接流复制内容,不缓存全量文件字节
            await s3ObjectStream.ResponseStream.CopyToAsync(entryStream);
        }
    }

    // 通知管道写入端完成,触发上传流程收尾
    await compressionWriter.CompleteAsync();
    // 等待整个S3上传流程结束
    await uploadTask;
    
    LambdaLogger.Log($"ZIP压缩上传完成:{targetBucketName}/{targetZipObjectName}");
}

/// <summary>
/// 待压缩S3对象的引用模型
/// </summary>
public class S3ObjectReference
{
    /// <summary>待压缩文件所在的源S3桶</summary>
    public string SourceBucketName { get; set; }
    /// <summary>待压缩文件在源桶中的对象Key</summary>
    public string SourceObjectKey { get; set; }
    /// <summary>文件在ZIP包内显示的文件名</summary>
    public string EntryDisplayName { get; set; }
}

高频踩坑提示

  • 压缩模式选择:必须使用ZipArchiveMode.Create模式,另外两种Read、Update模式要求流支持随机访问,而S3上传的顺序流不满足该特性,会触发流访问异常
  • 执行顺序约束:必须先启动S3上传任务、绑定管道读取端之后,再开始执行压缩逻辑。如果顺序颠倒,管道写入端缓冲写满后会永久阻塞,形成死锁
  • 异常传递:如果压缩流程中出现S3读取失败、流中断等问题,需要在调用compressionWriter.CompleteAsync时传入对应异常,将错误传递给上传任务,避免任务长时间挂起
  • 内存适配:如果待压缩文件总大小较大,可通过构造Pipe时的选项调整缓冲上限,平衡内存占用和传输吞吐,无需额外挂载EFS存储

内容的提问来源于stack exchange,提问作者Aniruddha

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.01 22:54:04