迁移至Spring Boot3后Hibernate6.x EntityKey内存占用过高问题

问题核心 #

迁移到Hibernate 6.1.7后，EntityManager的一级缓存（Session缓存）对EntityKey的管理逻辑发生变化，原有的清理机制（clear()/evictAll()）不再有效，导致批量读取大量数据时，EntityKey持续堆积占用堆内存。

1. 强制重建EntityManager #

不要仅依赖缓存清理方法，直接关闭当前EntityManager并重新创建实例，彻底切断旧缓存的引用：

// 每处理1500条数据后执行
entityManager.close();
entityManager = entityManagerFactory.createEntityManager();
// 同步刷新并重置OpenCSV写入流
csvWriter.flush();
csvWriter.close();
csvWriter = new CSVWriter(azureBlobOutputStream, ...); // 重新初始化写入器

注意：需使用EntityManagerFactory手动创建非容器托管的EntityManager实例，而非Spring容器注入的@PersistenceContext实例，后者受容器生命周期管理，无法彻底关闭清理

2. 使用StatelessSession规避缓存 #

Hibernate的StatelessSession不维护一级缓存，完全不会生成EntityKey，是批量数据读取的最优方案：

StatelessSession statelessSession = sessionFactory.openStatelessSession();
ScrollableResults results = statelessSession.createQuery("SELECT e FROM YourEntity e")
    .setFetchSize(500)
    .scroll(ScrollMode.FORWARD_ONLY);

int batchCount = 0;
while (results.next()) {
    YourEntity entity = (YourEntity) results.get(0);
    // 写入Azure Blob CSV逻辑
    if (++batchCount % 1500 == 0) {
        csvWriter.flush();
    }
}

results.close();
statelessSession.close();

注意：StatelessSession不支持懒加载和实体关联自动维护，若实体存在关联关系，需在查询中通过JOIN FETCH提前加载，或手动查询关联数据

3. 彻底禁用Hibernate缓存配置 #

在application.properties中添加以下配置，确保二级缓存、查询缓存和语句缓存完全禁用：

spring.jpa.properties.hibernate.cache.use_second_level_cache=false
spring.jpa.properties.hibernate.cache.use_query_cache=false
spring.jpa.properties.hibernate.statement_cache.size=0
spring.jpa.properties.hibernate.session.cache.mode=DISABLE

4. 手动清理Session底层缓存 #

若必须使用EntityManager，可手动unwrap到Hibernate Session并强制清除内部缓存：

Session session = entityManager.unwrap(Session.class);
session.clear(); // 清除一级缓存中的实体
// 额外清除SessionFactory级别的缓存区域
session.getSessionFactory().getCache().evictAllRegions();

5. 用原生SQL+轻量DTO减少实体依赖 #

避免加载完整实体类，直接查询所需字段并映射到轻量DTO，从根源上减少EntityKey的生成：

// 定义投影DTO或接口
public interface YourDataProjection {
    String getCol1();
    Long getCol2();
}

// 每批次查询数据
List<YourDataProjection> batch = entityManager.createQuery(
        "SELECT e.col1, e.col2 FROM YourEntity e", YourDataProjection.class)
    .setFirstResult(offset)
    .setMaxResults(500)
    .getResultList();

// 写入CSV逻辑
offset += 500;

内容的提问来源于stack exchange，提问作者Hrushikesh Mahapatro