Spring Boot应用批量大数据下载无内存泄漏方案选型

方案1：Piped流多线程写入下载的可行性分析 #

• 可行性：可行但完全不适合当前场景
  • PipedInputStream/PipedOutputStream本质是内存缓冲区实现的管道，处理1000万条数据时，缓冲区会快速被填满，直接引发OOM，根本达不到无内存泄漏的要求。
  • 多线程配合时，若写入速度远快于下载速度，会导致内存持续积压，同样触发内存溢出。
  • 该方案仅适用于小批量数据传输，完全不匹配千万级别的批量下载需求。

方案2：临时文件异步生成+轮询下载的优化建议 #

• 核心思路：异步将数据写入磁盘临时文件，避免内存占用，通过状态标记让用户获取下载时机
• 关键优化点（修正原方案的内存风险）：
  • 替换ByteArrayOutputStream：这个类是内存存储，用它处理千万级数据必然OOM，应改用FileOutputStream直接写入临时文件，全程几乎不占用堆内存。
  • 临时文件管理：给临时文件设置过期时间，下载完成或超时后自动清理，避免磁盘空间耗尽；用Spring的FileSystemResource封装临时文件，方便后续返回给客户端。
  • 状态标记实现：用Redis或内存缓存（如Guava Cache）存储下载状态，每个请求生成唯一taskId，用户用该ID轮询；除ACTIVE/DONE外，新增FAILED状态，便于用户知晓异常。
• 优化后流程：
  1. 用户发起下载请求，服务器生成唯一taskId，标记状态为ACTIVE，异步启动数据写入临时文件的线程。
  2. 用户用taskId轮询服务器，获取当前状态（ACTIVE/DONE/FAILED）。
  3. 状态为DONE时，用户发起下载请求，服务器通过FileSystemResource流式返回临时文件；状态为FAILED时返回错误信息。

最优方案推荐：流式直接下载（无需异步/轮询） #

更高效简单的方案是直接在Controller中流式输出数据，无需额外线程或临时文件：

• 实现方式：
  1. 使用Spring的StreamingResponseBody作为返回值，支持边生成数据边输出到客户端，全程不会将所有数据加载到内存。
  2. 在StreamingResponseBody的writeTo方法中，分页查询数据（例如每次查1000条），直接写入OutputStream，写完一页查下一页，直至全部输出完成。
• 核心优势：
  • 彻底避免内存占用：数据生成一点输出一点，堆内存仅保留当前分页的数据，无积压风险。
  • 无需额外状态管理：用户发起一次请求即可完成下载，交互更简洁。
  • 减少磁盘IO：无需生成临时文件，节省磁盘空间与IO开销。
• 示例代码片段：

@GetMapping("/download/batch")
public ResponseEntity<StreamingResponseBody> downloadBatchData() {
    StreamingResponseBody responseBody = outputStream -> {
        int pageSize = 1000;
        long totalCount = 10000000;
        long totalPages = (totalCount + pageSize - 1) / pageSize;
        
        for (long pageNum = 1; pageNum <= totalPages; pageNum++) {
            // 分页查询数据，示例用JPA分页
            List<DataEntity> pageData = dataRepository.findAll(
                PageRequest.of((int)(pageNum-1), pageSize)
            ).getContent();
            // 将数据转为CSV格式写入输出流
            for (DataEntity data : pageData) {
                String csvLine = convertToCsv(data) + "\n";
                outputStream.write(csvLine.getBytes(StandardCharsets.UTF_8));
            }
            // 强制刷新，避免客户端等待
            outputStream.flush();
        }
    };

    return ResponseEntity.ok()
            .header(HttpHeaders.CONTENT_DISPOSITION, "attachment; filename=batch_data.csv")
            .contentType(MediaType.TEXT_PLAIN)
            .body(responseBody);
}

注意：需确保数据库分页查询的效率（如添加查询字段索引），同时配置Tomcat的连接超时时间，避免长连接被提前断开。

内容的提问来源于stack exchange，提问作者Luke