Spring环境下流式传输海量SQL结果至浏览器文件的内存优化及实现问题

咱们先捋清楚你当前遇到的核心问题：虽然你想用流式处理避免OOM，但实际代码里的一些操作把所有数据都塞进了内存，再加上PostgreSQL的特殊配置要求没满足，导致内存飙升；还有Content-Type设置错误引发了转换器异常，我一步步给你拆解解决方案。

一、先解决DAO层流式查询的内存泄漏问题 #

你用JdbcTemplate.queryForStream()的思路是对的，但PostgreSQL JDBC驱动有个特殊点：当autoCommit=true时，它会忽略你设置的fetchSize，直接把所有查询结果加载到客户端内存里——这就是你内存飙升的根源之一！

DAO层正确的流式查询代码 #

public Stream<String> getLargeUserStream() {
    String query = "select name from usersTable limit 1000000";
    
    // 关键配置：PostgreSQL必须关闭autoCommit才能让fetchSize生效
    jdbcTemplate.setAutoCommit(false);
    // 设置分批获取的行数，按需调整，10000是比较合理的数值
    jdbcTemplate.setFetchSize(10_000);
    
    return jdbcTemplate.queryForStream(query, (resultSet, rowNum) -> 
        resultSet.getString("name")
    );
}

这里要注意：Stream是和底层ResultSet绑定的，必须确保它被正确关闭，否则会导致数据库连接泄漏，后面在Controller层我们会用try-with-resources来处理。

二、解决Service到客户端的流式传输问题 #

你之前的两个尝试都有明显问题：

1. 第一个代码里用revs.collect(Collectors.toList())直接把百万行数据全加载到内存了，完全违背了流式的初衷，内存不飙升才怪！
2. 第二个代码用了StreamingResponseBody但设置了错误的Content-Type: multipart/form-data——这个类型是用来上传多部分表单的，不是用来下载单文件的，Spring找不到对应的转换器才会报错。

Controller层正确的流式下载代码 #

import org.springframework.http.HttpHeaders;
import org.springframework.http.MediaType;
import org.springframework.http.ResponseEntity;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.servlet.mvc.method.annotation.StreamingResponseBody;

import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.stream.Stream;

@GetMapping("/download-users")
public ResponseEntity<StreamingResponseBody> downloadUsers() {
    Stream<String> userStream = userDao.getLargeUserStream();

    // 构建流式响应体，逐行写入输出流
    StreamingResponseBody responseBody = outputStream -> {
        // 用try-with-resources自动关闭Stream，释放ResultSet和数据库连接
        try (userStream) {
            userStream.forEachOrdered(userName -> {
                try {
                    // 把每行数据转成字节写入输出流，加上换行符
                    outputStream.write((userName + "\n").getBytes(StandardCharsets.UTF_8));
                    // 可选：每写一行就flush，确保数据及时发送到客户端，减少服务器缓冲区占用
                    outputStream.flush();
                } catch (IOException e) {
                    throw new RuntimeException("写入输出流失败", e);
                }
            });
        }
    };

    return ResponseEntity.ok()
            // 设置正确的Content-Type，文本文件用TEXT_PLAIN，二进制文件用application/octet-stream
            .contentType(MediaType.TEXT_PLAIN)
            // 设置响应头，让浏览器触发下载，指定文件名
            .header(HttpHeaders.CONTENT_DISPOSITION, "attachment; filename=\"users.txt\"")
            .body(responseBody);
}

三、关键注意事项总结 #

1. PostgreSQL的autoCommit必须关闭：这是流式查询生效的前提，否则fetchSize完全没用，数据库会一次性把所有结果塞到客户端内存。
2. 绝对不要把Stream转成List/集合：一旦调用collect(Collectors.toList())，所有数据都会加载到内存，流式处理就失去意义了。
3. 正确设置Content-Type：根据你的文件类型选择合适的类型，单文件下载绝对不要用multipart/form-data。
4. Stream的资源释放：必须用try-with-resources包裹Stream，确保底层的ResultSet和数据库连接被正确关闭，避免资源泄漏。
5. flush的使用：逐行flush可以让数据及时发送到客户端，减少服务器端的缓冲区占用，但如果行数极多，也可以改成每N行flush一次，平衡IO次数和内存占用。

额外优化建议 #

• 如果你后续需要用Hibernate实现流式查询，记得设置hibernate.jdbc.fetch_size，并且使用ScrollableResults的SCROLL_FORWARD_ONLY模式，同时关闭Session的自动flush，但PostgreSQL下JdbcTemplate确实更直接高效。
• 可以根据服务器性能调整fetchSize的大小，太小会增加数据库交互次数，太大可能占用更多内存，建议在1000-10000之间测试。
• 可以在Spring配置里关闭响应缓冲，比如在application.properties里设置server.servlet.response.buffer-size=0，不过StreamingResponseBody默认会自动禁用缓冲，一般不需要额外配置。

备注：内容来源于stack exchange，提问作者StormySalad