Java SpringBoot下S3对象流式压缩转存S3的实现及性能优化咨询

Hey there! Let's tackle your streaming zip issue between S3 buckets on that tiny 1GB RAM EC2 instance— I’ve seen this exact problem a few times, so let’s break down why it’s slow with large files and how to fix it without hogging memory or storage.

首先，大文件处理为啥会变慢甚至降速？ #

你的1GB内存EC2资源实在有限，处理10GB级文件时，几个核心瓶颈大概率在搞事情：

• 如果当前代码没做真正的端到端流式处理，可能会把文件大块缓存到内存，或者往8GB存储写临时文件。内存一满，JVM就会陷入垃圾回收（GC）的疯狂停顿，直接阻塞代码执行，网络吞吐量自然暴跌。
• 哪怕是流式处理，要是缓冲区设得太大、或者没定期刷新ZipOutputStream，数据会在内存里越堆越多，同样会触发GC拖慢速度。
• 跨区域传输确实会影响速度，但从200Mbps掉到200-1000kbps这种幅度，几乎肯定是内存瓶颈导致的，不是网络本身的问题。

解决方案：真正的端到端流式处理 + 内存优化 #

咱们一步步来调整，通过代码修改和配置优化，把内存和存储占用压到最低：

1. 实现纯端到端流式处理（无磁盘写入、极低内存占用） #

核心思路是：绝不把整个文件加载到内存，也不写临时文件，直接把S3文件的输入流接入ZipOutputStream，再把压缩流直接对接目标S3的上传流。用AWS SDK 2.x的异步客户端避免线程阻塞，同时用小缓冲区控制内存 footprint。

下面是你的streamFilesFromS3ToZipToS3方法的优化版本：

private void streamFilesFromS3ToZipToS3(ZippingTask zippingTask) {
    try {
        // 先更新任务状态为处理中
        updateTaskStatus(zippingTask, TaskStatus.PROCESSING);

        // 使用异步S3客户端，避免阻塞线程浪费内存
        AsyncS3Client asyncS3Client = AsyncS3Client.create();

        // 用管道流对接压缩输出和S3上传输入，8KB缓冲区控制内存占用
        try (PipedOutputStream pipedOut = new PipedOutputStream();
             PipedInputStream pipedIn = new PipedInputStream(pipedOut, 8192);
             ZipOutputStream zipOut = new ZipOutputStream(new BufferedOutputStream(pipedOut, 8192))) {

            // 先启动S3上传任务，让它准备好接收压缩流数据
            CompletableFuture<PutObjectResponse> uploadFuture = asyncS3Client.putObject(
                PutObjectRequest.builder()
                    .bucket(zippingTask.getTargetBucket())
                    .key(zippingTask.getTargetKey())
                    .build(),
                AsyncRequestBody.fromInputStream(() -> pipedIn, estimateTotalZipSize(zippingTask)) // 估算压缩后大小，未知则传-1
            );

            // 逐个流式读取源S3文件，写入压缩流
            for (String sourceKey : zippingTask.getSourceKeys()) {
                GetObjectResponse s3File = asyncS3Client.getObject(
                    GetObjectRequest.builder()
                        .bucket(zippingTask.getSourceBucket())
                        .key(sourceKey)
                        .build()
                ).join();

                // 向压缩包添加新条目
                zipOut.putNextEntry(new ZipEntry(s3File.key()));

                // 8KB分块读取S3文件内容，写入压缩流，避免内存堆积
                try (InputStream s3InputStream = s3File.inputStream()) {
                    byte[] buffer = new byte[8192];
                    int bytesRead;
                    while ((bytesRead = s3InputStream.read(buffer)) != -1) {
                        zipOut.write(buffer, 0, bytesRead);
                    }
                }

                // 关闭当前压缩条目并立即刷新，释放内存
                zipOut.closeEntry();
                zipOut.flush();
            }

            // 完成压缩包写入，等待S3上传完成
            zipOut.finish();
            zipOut.flush();
            pipedOut.flush();

            uploadFuture.join();
            updateTaskStatus(zippingTask, TaskStatus.COMPLETED);
        } catch (Exception e) {
            updateTaskStatus(zippingTask, TaskStatus.FAILED);
            log.error("Zipping task failed", e);
        }
    } catch (Exception e) {
        log.error("Failed to update task status", e);
    }
}

2. 调整JVM和EC2配置，释放关键内存 #

1GB内存的EC2每一点资源都要省，调整这些设置：

• 限制JVM堆内存：在启动参数里设置-Xmx512m（比如在application.properties里加spring.jvm.args=-Xmx512m -XX:+UseG1GC）。这样JVM最多用512MB内存，留512MB给系统和网络进程。
• 禁用交换内存：EC2的交换内存速度极慢，内存不足时会导致系统卡顿。在实例上执行sudo swapoff -a关闭交换分区。
• 关闭无用服务：停止所有不需要的服务（比如不用的Apache、MySQL），释放额外内存。

3. 优化S3传输，提升速度和效率 #

• 同区域部署：确保EC2实例和两个S3桶在同一个AWS区域。跨区域传输不仅慢、成本高，还会增加不必要的开销。
• 用分段上传：处理超大压缩包时，用S3的分段上传功能（AWS SDK 2.x的TransferManager会自动处理）。它会把压缩包切成小块（比如5MB）并行上传，不用把整个压缩包放在内存里。
• 限制并发请求数：别给小实例塞太多并发S3流。如果用TransferManager，把maxConcurrency设为2或3，避免资源过载。

最后快速检查项 #

• 仔细排查代码，确保没有临时文件写入（搜索FileOutputStream或Files.createTempFile，有就删掉）。
• 运行任务时用top或htop监控EC2内存使用，JVM内存应该稳定在500MB以下，且没有大量磁盘I/O。

备注：内容来源于stack exchange，提问作者Manan Domadiya