升级Hibernate 6.x/Spring Boot 3后JPA流结果不一致问题

问题背景 #

我们有一个批处理应用，用于从订单历史中计算统计数据，处理时会从PostgreSQL数据库获取约50万条记录。数据包含订单及关联的订单明细，实体关联定义如下：

@OneToMany(mappedBy = "createdOrder", cascade = CascadeType.ALL, fetch = FetchType.LAZY)
public Set<OrderDetails> getOrderDetails() {
    return orderDetails;
}

我们定义了带抓取大小的流式查询方法：

@QueryHints(value = @QueryHint(name = org.hibernate.jpa.QueryHints.HINT_FETCH_SIZE, value = "5000"))
Stream<CreatedOrder> streamAllDistinctByCreatedBetween(long startEpochMillis, long endEpochMillis);

批处理逻辑中，为避免无用数据占用内存，添加了flush/clear操作：

@Transactional
public void calculateOrderStats() {
    try (Stream<OrderDetails> orderDetailsStream = createdOrderRepository.streamAllDistinctByCreatedBetween(periodStart, periodEnd)) {
        orderDetailsStream.forEach(orderDetails -> {
            // 执行统计计算
            if(count % 1000 == 0) {
                entityManager.flush();
                entityManager.clear();
            }
        });
    }
}

该代码在Spring Boot 2.7.1/Hibernate 5.6.9.Final环境运行正常，但升级至Spring Boot 3.0.0/Hibernate 6.1.5.Final后，统计结果出现差异，新旧版本并行运行结果不同。排查发现差异源于流获取的数据不一致，仅两种方式可使6.x版本得到与5.x一致的结果：

• 移除流式查询，直接将所有订单收集到列表（会大幅增加内存消耗）；
• 移除flush/clear代码（仅保留clear也不行，必须完全移除）。

原因分析 #

核心差异来自Hibernate 6.x对流式查询底层游标与一级缓存（Persistence Context）的交互逻辑变更：

Hibernate 5.x的行为 #

流式查询依赖JDBC的ScrollableResultSet实现游标式数据读取，配合fetch_size控制每次加载的行数。当调用EntityManager.clear()时：

• 仅清空当前一级缓存中的实体实例，不会影响底层的ScrollableResults游标状态；
• 游标仍保持在当前读取位置，后续遍历流时，会继续从数据库读取下一批数据，不会出现重复或遗漏，因此统计结果准确。

Hibernate 6.x的行为 #

Hibernate 6.x对Persistence Context的生命周期管理做了严格调整：

• 当调用EntityManager.clear()时，不仅清空一级缓存，还会关闭流式查询依赖的底层ScrollableResults游标；
• 后续尝试遍历流时，游标已失效，Hibernate会重新执行查询（或尝试从游标读取时触发错误的 fallback 逻辑），导致部分数据重复读取或被跳过，最终统计结果与5.x版本不一致。

此外，代码中存在一处笔误：streamAllDistinctByCreatedBetween返回Stream<CreatedOrder>，但逻辑中用Stream<OrderDetails>接收，虽然不影响核心问题，但可能导致后续关联数据加载的额外异常。

解决方案建议 #

1. 改用StatelessSession处理大规模批处理
   StatelessSession本身无一级缓存，不需要手动调用clear()，适合处理百万级数据，内存占用低，且不会出现游标被意外关闭的问题。

2. 调整流式查询的缓存管理方式
   避免在流式查询遍历过程中调用EntityManager.clear()，如果必须控制内存，可以调整fetch_size参数，或使用Hibernate原生的scroll()方法配合ScrollMode.FORWARD_ONLY，手动管理游标与缓存。

3. 修正代码中的类型不匹配问题
   确保流式查询的返回类型与接收类型一致，避免不必要的类型转换或关联数据加载异常。

内容的提问来源于stack exchange，提问作者Daniel