Spring RestTemplate传输1GB大文件时OOM问题的解决求助

问题根源 #

你之前的代码失效是因为Multipart/form-data的默认处理逻辑会将整个文件加载到内存，哪怕使用FileSystemResource和setBufferRequestBody(false)，Spring在编码Multipart请求体时，会先缓冲所有部分的内容，导致大文件直接占满内存。

核心解决思路 #

放弃依赖Spring自动处理Multipart请求体，改用StreamingHttpOutputMessage手动流式写入请求内容，直接将数据库读取→CSV生成→Zip压缩的数据流同步写入网络输出流，全程不落地文件、不缓冲全量数据。

具体实现代码 #

1. 构建流式传输的RestTemplate请求 #

// 配置请求工厂：禁用请求体缓冲，设置分块大小
SimpleClientHttpRequestFactory requestFactory = new SimpleClientHttpRequestFactory();
requestFactory.setBufferRequestBody(false);
requestFactory.setChunkSize(8192); // 按8KB分块，可根据网络调整

RestTemplate restTemplate = new RestTemplate(requestFactory);

// 构建请求头
HttpHeaders headers = new HttpHeaders();
String boundary = "----WebKitFormBoundary" + System.currentTimeMillis();
headers.setContentType(MediaType.parseMediaType("multipart/form-data; boundary=" + boundary));

// 使用StreamingHttpOutputMessage实现流式写入
StreamingHttpOutputMessage streamingBody = outputStream -> {
    try {
        // 写入Multipart边界与文件元数据
        outputStream.write(("--" + boundary + "\r\n").getBytes(StandardCharsets.UTF_8));
        outputStream.write(("Content-Disposition: form-data; name=\"file\"; filename=\"data.zip\"\r\n").getBytes(StandardCharsets.UTF_8));
        outputStream.write(("Content-Type: application/zip\r\n\r\n").getBytes(StandardCharsets.UTF_8));

        // 直接将数据库流式数据生成Zip并写入请求输出流
        generateStreamingZip(outputStream);

        // 写入Multipart结束边界
        outputStream.write(("\r\n--" + boundary + "--\r\n").getBytes(StandardCharsets.UTF_8));
        outputStream.flush();
    } catch (SQLException | IOException e) {
        throw new RuntimeException("流式生成Zip失败", e);
    }
};

HttpEntity<StreamingHttpOutputMessage> requestEntity = new HttpEntity<>(streamingBody, headers);

// 发送请求：用exchange而非postForEntity，适配流式请求体
restTemplate.exchange(URI.create("myUrl"), HttpMethod.POST, requestEntity, String.class);

2. 数据库→CSV→Zip流式生成逻辑 #

private void generateStreamingZip(OutputStream outputStream) throws SQLException, IOException {
    try (ZipOutputStream zipOut = new ZipOutputStream(outputStream);
         Connection conn = getDatabaseConnection(); // 替换为你的数据库连接获取逻辑
         Statement stmt = conn.createStatement(ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
         ResultSet rs = stmt.executeQuery("SELECT * FROM large_data_table");
         CSVWriter csvWriter = new CSVWriter(new OutputStreamWriter(zipOut))) {

        // 启用ResultSet流式读取（不同数据库配置不同）
        stmt.setFetchSize(Integer.MIN_VALUE); // MySQL专属配置；PostgreSQL可设为50/100等小数值

        // 写入CSV表头
        ResultSetMetaData metaData = rs.getMetaData();
        String[] csvHeaders = new String[metaData.getColumnCount()];
        for (int i = 0; i < metaData.getColumnCount(); i++) {
            csvHeaders[i] = metaData.getColumnName(i + 1);
        }
        csvWriter.writeNext(csvHeaders);
        csvWriter.flush();

        // 添加Zip条目
        zipOut.putNextEntry(new ZipEntry("data.csv"));

        // 流式读取ResultSet，逐行写入CSV与Zip
        while (rs.next()) {
            String[] rowData = new String[metaData.getColumnCount()];
            for (int i = 0; i < metaData.getColumnCount(); i++) {
                rowData[i] = rs.getString(i + 1);
            }
            csvWriter.writeNext(rowData);
            // 实时flush，避免内存累积
            csvWriter.flush();
            zipOut.flush();
        }

        zipOut.closeEntry();
    }
}

关键注意事项 #

• 数据库流式读取配置：不同数据库的ResultSet流式开启方式不同，比如MySQL需要stmt.setFetchSize(Integer.MIN_VALUE)，PostgreSQL只需设置小的fetchSize值，需根据你的数据库调整。
• 避免落地文件：直接从数据库结果流生成Zip并写入请求输出流，完全跳过本地文件存储，进一步降低内存与磁盘开销。
• 响应处理优化：如果目标服务返回的响应也较大，需使用ResponseExtractor流式处理响应，避免加载全量响应到内存。
• 目标服务兼容性：确保接收请求的微服务支持分块传输，不会将整个请求体加载到内存处理。

内容的提问来源于stack exchange，提问作者SauriBabu