Hibernate 5.4.18 ScrollableResults从Postgres取数未按fetchSize分批查询
大结果集流式拉取未达预期的原因分析
先明确一个最容易被误解的核心逻辑
你之前观察到“仅触发了一次查询”,本身就是服务端游标模式的正常表现,不是bug。
很多开发者误以为ScrollableResults是通过循环拼接LIMIT/OFFSET分页SQL,每取5行就执行一次新的select查询,但实际上这个能力的底层完全依赖数据库自带的服务端游标实现:
- 整个大结果集的拉取流程,只会在最开始执行一次select语句,让数据库在服务端生成一个可向前滚动的游标
- 后续每拉取指定大小的行块,都是通过数据库原生的
FETCH NEXT逻辑从游标位置取数,根本不会反复触发新的select语句 - 判断你的分批拉取是否真的生效,核心是看客户端内存有没有一次性加载全量百万级数据,而不是看日志里执行了多少次select语句。
你现在的问题根本不是“没有每5次触发一次新查询”,而是因为配置不满足Postgres的流式查询要求,驱动跳过了游标模式,直接把全量结果一次性拉到了客户端内存——哪怕只发了一次查询,内存占用还是会直接撑爆。
你的代码为什么让Postgres的流式游标完全失效
Postgres JDBC驱动对流式拉取的生效有非常严格的硬性要求,只要不满足任意一条,驱动会直接退回默认的“全量结果集一次性加载到客户端内存”的逻辑,不管你Hibernate层怎么设置fetchSize、怎么用ScrollableResults,配置都会被忽略。
驱动强制要求的生效条件:
- 当前数据库连接的
autoCommit必须设置为false,也就是查询必须运行在一个显式开启的事务块内——这是最核心的硬限制,没有任何绕过空间 - 必须显式设置大于0的fetchSize参数(设置为0等价于告诉驱动要一次性拉全量)
- 查询本身不能带会干扰游标的锁语法、不能设置和流式冲突的结果集属性
对照你的代码,有几个直接让流式逻辑失效的问题:
- 方法上的
@Transactional对手动开启的StatelessSession完全不起作用:Spring的事务只会把自己管理的EntityManager、DataSource连接纳入事务上下文,你手动通过sessionFactory.openStatelessSession()新开的会话,拿到的是独立的数据库连接,默认状态下autoCommit=true,直接触发驱动的全量加载逻辑,哪怕你设了fetchSize=5,这个参数也会被驱动直接丢弃。 - 你使用的Postgres JDBC 9.4-1200版本是最早支持流式查询的迭代版本,对事务上下文的校验比后续版本更严格,只要autoCommit为true,所有和fetch相关的配置全部不会生效。
- 你给t1设置的
LockMode.READ会让Hibernate给原生SQL追加FOR SHARE锁语法,这类带行锁的查询在大结果集场景下,不仅没有实际收益,还会因为不满足驱动对纯流式游标的要求,进一步让内存拉取逻辑退回全量模式。哪怕你后来改成了LockMode.NONE,只要autoCommit的问题没解决,其他配置改了也没用。
可落地的修正步骤
- 给手动开启的StatelessSession配置正确的事务上下文:拿到会话拿到连接后,第一时间执行
connection.setAutoCommit(false),整个ScrollableResults遍历完成、资源关闭之后,再显式提交/回滚事务,绝对不能让会话运行在自动提交模式下。 - 移除所有无意义的锁配置:只读大结果集查询不需要加任何锁,直接删掉
setLockMode相关代码即可。 - 保持fetchSize的合理设置:当autoCommit为false的条件满足时,你设置的
fetchSize=5会正常透传到JDBC层,驱动每次只会从服务端拉5行数据到客户端内存,不会把全量百万级数据一次性加载进堆,从根源上避免OOME。 - 遍历结果的全流程中,不要在同一个数据库连接上执行其他写操作或者新的查询,否则会直接冲掉正在使用的服务端游标,触发事务中断的报错。
补充提醒:如果按照修正后的配置跑通,你依然只会在日志里看到最开始的那一次select查询,不会出现每循环5次就执行一次select的情况。要是真的看到日志里反复出现select语句,反而说明实现成了Hibernate层的offset分页查询,不是基于服务端游标的流式拉取,在百万级数据场景下offset分页的性能会断崖式下跌。
内容的提问来源于stack exchange,提问作者darth_vader
相关产品推荐
相关产品推荐

