Rest API处理200MB响应：内存溢出问题解决方案咨询

你的核心问题是一次性加载8万条记录到内存导致OOM，本质要解决的是避免全量数据驻留内存，下面直接对比两种方案的优劣和适用场景：

一、流式处理（你已尝试的方案） #

这是成本最低的优化方式，适合基于传统Spring MVC的同步项目：

• 核心逻辑：通过JDBC流式读取Oracle数据，读一条处理一条、序列化一条输出一条，内存仅保留当前处理的单个对象
• 关键配置：Oracle JDBC默认会把fetchSize批次的数据全加载到客户端内存，必须设置statement.setFetchSize(Integer.MIN_VALUE)开启真正的流式取数，同时确保连接池没有覆盖oracle.jdbc.defaultRowPrefetch属性
• 常见坑点：如果之前尝试没解决问题，大概率是没做这两点——一是没正确开启JDBC流式，二是序列化/响应输出环节没做流式（比如用Jackson的StreamingJsonGenerator而非先转成List，同时关闭Tomcat的响应缓冲）

二、WebFlux（响应式方案） #

适合需要高并发支持的新项目或架构升级场景：

• 优势：全程异步非阻塞，线程资源占用极低，结合R2DBC驱动从数据库读取到响应输出全链路流式，内存占用更稳定
• 局限性：学习成本高，需要把整个代码栈改成响应式模型（同步逻辑要转成Mono/Flux），且Oracle的R2DBC驱动成熟度不如JDBC，复杂SQL或特性可能存在支持缺口；如果是现有同步项目，还要替换事务、缓存等组件为响应式版本

三、方案选择建议 #

• 如果是现有Spring MVC同步项目：优先优化流式处理的实现，而不是直接切换WebFlux。只要搞定JDBC流式配置和响应输出的流式序列化，就能快速解决OOM，改动极小
• 如果是新项目或计划做高并发架构升级：可以考虑WebFlux+R2DBC，长期来看能更好应对高并发下的大数据量请求

补充代码示例 #

正确的Spring MVC流式实现

@GetMapping("/stream-data")
public StreamingResponseBody streamLargeData() throws SQLException {
    // 从连接池获取连接（实际项目用Spring的JdbcTemplate或DataSource）
    Connection conn = dataSource.getConnection();
    Statement stmt = conn.createStatement();
    stmt.setFetchSize(Integer.MIN_VALUE); // 开启Oracle流式取数
    ResultSet rs = stmt.executeQuery("SELECT id, name, content FROM large_dataset");

    return outputStream -> {
        ObjectMapper mapper = new ObjectMapper();
        try (rs; stmt; conn) {
            outputStream.write('[');
            boolean firstRecord = true;
            while (rs.next()) {
                if (!firstRecord) {
                    outputStream.write(',');
                }
                // 逐行映射对象并序列化输出
                DataDO data = new DataDO();
                data.setId(rs.getLong("id"));
                data.setName(rs.getString("name"));
                data.setContent(rs.getString("content"));
                mapper.writeValue(outputStream, data);
                firstRecord = false;
                outputStream.flush(); // 强制刷出，避免内存缓冲积压
            }
            outputStream.write(']');
        } catch (IOException e) {
            // 异常处理：比如中断数据库查询
            stmt.cancel();
        }
    };
}

WebFlux+R2DBC实现

@GetMapping("/reactive-stream")
public Flux<DataDO> reactiveStreamLargeData() {
    return databaseClient.sql("SELECT id, name, content FROM large_dataset")
            .map(row -> {
                DataDO data = new DataDO();
                data.setId(row.get("id", Long.class));
                data.setName(row.get("name", String.class));
                data.setContent(row.get("content", String.class));
                return data;
            })
            .all();
}

内容的提问来源于stack exchange，提问作者MpMp