Java中如何流式生成Zip并通过RestTemplate分片上传至REST接口？

你说的这种流式传输完全能做到——不用把整个Zip文件存到内存或磁盘，而是在RestTemplate发送请求的同时，实时生成Zip数据并分块传输。下面讲清楚原理和具体代码：

核心思路 #

用**管道流（PipedInputStream/PipedOutputStream）**实现线程间的异步读写：

• 后台线程用ZipOutputStream往PipedOutputStream里写Zip内容
• RestTemplate从对应的PipedInputStream里读数据，读到一点就发一点到接口
• 全程不会缓存整个Zip，内存占用只取决于每次读写的缓冲大小

具体代码实现 #

import org.springframework.http.HttpEntity;
import org.springframework.http.HttpHeaders;
import org.springframework.http.MediaType;
import org.springframework.http.client.SimpleClientHttpRequestFactory;
import org.springframework.util.LinkedMultiValueMap;
import org.springframework.util.MultiValueMap;
import org.springframework.web.client.RestTemplate;
import org.springframework.core.io.InputStreamResource;

import java.io.*;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;

public class StreamingZipUploader {

    public static void main(String[] args) throws Exception {
        // 1. 创建管道流对：读流给RestTemplate，写流用来生成Zip
        PipedInputStream readStream = new PipedInputStream();
        PipedOutputStream writeStream = new PipedOutputStream(readStream);

        // 2. 开线程后台生成Zip内容（避免阻塞主线程的请求发送）
        new Thread(() -> {
            try (ZipOutputStream zipOut = new ZipOutputStream(writeStream)) {
                // 示例1：添加文本文件
                ZipEntry textEntry = new ZipEntry("readme.txt");
                zipOut.putNextEntry(textEntry);
                zipOut.write("这是压缩包里的说明文本".getBytes());
                zipOut.closeEntry();

                // 示例2：添加本地大文件（流式读取，不加载整个文件到内存）
                ZipEntry largeFileEntry = new ZipEntry("big-data.csv");
                zipOut.putNextEntry(largeFileEntry);
                try (InputStream fileIn = new FileInputStream("/path/to/your/big-file.csv")) {
                    byte[] buffer = new byte[8192]; // 8KB缓冲，可按需调整
                    int bytesRead;
                    while ((bytesRead = fileIn.read(buffer)) != -1) {
                        zipOut.write(buffer, 0, bytesRead);
                    }
                }
                zipOut.closeEntry();

                // 可继续添加更多文件...
            } catch (IOException e) {
                e.printStackTrace();
            }
        }).start();

        // 3. 配置RestTemplate，必须关闭请求体缓冲，否则会先把整个流读到内存
        SimpleClientHttpRequestFactory requestFactory = new SimpleClientHttpRequestFactory();
        requestFactory.setBufferRequestBody(false); // 关键配置
        RestTemplate restTemplate = new RestTemplate(requestFactory);

        // 构造Multipart请求体
        HttpHeaders headers = new HttpHeaders();
        headers.setContentType(MediaType.MULTIPART_FORM_DATA);

        MultiValueMap<String, Object> requestBody = new LinkedMultiValueMap<>();
        // 把管道读流包装成Multipart文件，指定文件名
        requestBody.add("zipFile", new InputStreamResource(readStream) {
            @Override
            public String getFilename() {
                return "archive.zip"; // 接口接收的文件名
            }

            @Override
            public long contentLength() {
                return -1; // 不知道Zip总大小，让HTTP用分块编码传输
            }
        });

        HttpEntity<MultiValueMap<String, Object>> requestEntity = new HttpEntity<>(requestBody, headers);

        // 发送请求到目标接口
        String response = restTemplate.postForObject("http://your-api-url/upload", requestEntity, String.class);
        System.out.println("上传结果：" + response);
    }
}

关键注意事项 #

• 管道流的线程安全：管道流本身是线程安全的，读和写在不同线程，RestTemplate读数据时如果没内容会阻塞，直到后台线程写入数据。
• 关闭缓冲：setBufferRequestBody(false)必须加，否则RestTemplate会先把整个流读到内存再发送，完全失去流式的意义。
• 资源释放：用try-with-resources自动关闭流，后台线程的ZipOutputStream关闭后，读流会触发EOF，RestTemplate知道传输完成。
• 缓冲大小：示例里用8KB缓冲，可根据实际情况调整，平衡内存占用和传输效率。

内容的提问来源于stack exchange，提问作者Vectorspace