使用Spring Data queryForStream为何会引发堆内存耗尽问题？

核心问题出在PostgreSQL JDBC驱动的默认行为和Spring JdbcTemplate的事务环境上：

PostgreSQL JDBC驱动在autoCommit=true模式下（这是JDBC默认模式，也是Spring JdbcTemplate在事务外执行时的模式），会忽略你设置的fetchSize，直接把整个结果集一次性加载到客户端内存中——这就是为什么你的RowMapper还没执行，内存就被耗尽的原因：数据库返回的全量数据已经把堆占满了。

queryForStream本身的设计确实是为了流式处理避免OOM，但它的生效依赖于JDBC驱动支持分批获取结果集，而PostgreSQL驱动的这个特性必须在autoCommit=false的环境下才能激活。

解决步骤 #

• 开启事务：在执行查询的方法上添加@Transactional注解，让Spring把JdbcTemplate的执行放到事务上下文里，此时autoCommit会被设置为false，PostgreSQL驱动会尊重你设置的fetchSize，分批拉取数据。
• 正确设置fetchSize：

  jdbcTemplate.setFetchSize(1000);
  Stream<MyResultDto> result = jdbcTemplate.queryForStream(
      "select * from table",
      myRowMapper
  );
  

• 用try-with-resources管理Stream：确保Stream被正确关闭，避免连接泄漏：

  try (Stream<MyResultDto> result = jdbcTemplate.queryForStream(...)) {
      // 处理流式数据，比如通过REST接口输出
      result.forEach(dto -> {
          // 你的输出逻辑
      });
  }
  

• 额外配置（可选）：如果问题仍存在，可以在PostgreSQL的JDBC URL中添加参数，强制驱动默认使用分批获取：

  jdbc:postgresql://host:port/dbname?defaultFetchSize=1000
  

补充说明 #

• 表无主键确实不影响流式查询，你的判断正确。
• 堆栈信息中的Tomcat相关OOM是堆内存被结果集占满后，Tomcat的NIO线程池无法分配内存处理请求导致的，根源还是结果集全量加载的问题。

内容的提问来源于stack exchange，提问作者ulim