Spring Batch多线程处理中Hibernate懒加载集合异常求助

1. 修复JOIN FETCH与分页的兼容性问题 #

你的JOIN FETCH未生效，核心原因是分页查询（Pageable）与JOIN FETCH结合时，Spring Data JPA会自动调整逻辑以保证分页正确性——如果不添加DISTINCT，JOIN后的结果会包含重复的主实体，导致分页偏移量计算错误。修改Repository查询如下：

@Repository
public interface CustomObjectRepository extends JpaRepository<CustomObject, Long>, QuerydslPredicateExecutor<CustomObject> {

    @Query("""
        SELECT DISTINCT co FROM CustomObject co
        JOIN FETCH co.aListOfItems loi
        WHERE co.year = :year
        AND co.month = :month
    """)
    @QueryHints({
        @QueryHint(name = org.hibernate.jpa.QueryHints.HINT_PASS_DISTINCT_THROUGH, value = "false")
    })
    Page<CustomObject> findAllByYearAndMonth(Integer year, Integer month, Pageable pageable);
}

• DISTINCT：在ORM层面去重，避免JOIN导致的主实体重复；
• HINT_PASS_DISTINCT_THROUGH：禁止Hibernate将DISTINCT传递到SQL的COUNT查询中，保证分页总数统计正确。

2. 保证多线程下Hibernate会话贯穿整个Chunk生命周期 #

多线程Step中，每个Chunk的Reader/Processor/Writer本应在同一个事务内，但Repository方法的@Transactional(readOnly = true)会开启独立事务，导致Reader查询完成后会话立即关闭，Processor访问懒加载集合时报错。

方案A：复用Step的Chunk事务

去掉Repository接口上的@Transactional(readOnly = true)，同时在Step配置中设置Chunk事务为只读：

@Bean
public Step batchStep(
    final ItemReader<CustomObject> customObjectReader,
    final CustomObjectProcessor customObjectProcessor,
    final TaskExecutor batchTaskExecutor
) {
    DefaultTransactionAttribute transactionAttribute = new DefaultTransactionAttribute();
    transactionAttribute.setReadOnly(true); // 设置Chunk事务为只读

    return new StepBuilder("batchStep", jobRepository)
        .<CustomObject, CustomObject>chunk(100, transactionManager)
        .reader(customObjectReader)
        .processor(customObjectProcessor)
        .writer(chunk -> {})
        .taskExecutor(batchTaskExecutor)
        .throttleLimit(4)
        .transactionAttribute(transactionAttribute) // 应用事务属性
        .build();
}

这样Repository的查询会直接复用Step的Chunk事务，会话会保持到整个Chunk处理完成（Reader→Processor→Writer），Processor访问懒加载集合时会话仍有效。

方案B：在Reader中提前初始化懒加载集合

如果不想修改事务配置，可以在Reader读取实体后，立即初始化所有需要的懒加载集合（此时会话还在Repository方法的事务内）：

@Bean
@StepScope
public ItemReader<CustomObject> customObjectReader(
    final CustomObjectRepository customObjectRepository,
    @Value("#{jobParameters['year']}") final Integer year,
    @Value("#{jobParameters['month']}") final Integer month
) {
    final RepositoryItemReader<CustomObject> reader = new RepositoryItemReader<>();
    reader.setRepository(customObjectRepository);
    reader.setMethodName("findAllByYearAndMonth");
    reader.setArguments(List.of(year, month));
    reader.setSort(Map.of("id", Sort.Direction.ASC));
    reader.setPageSize(100);
    reader.setSaveState(false);

    // 添加afterRead回调，强制初始化懒加载集合
    reader.setAfterReadCallback(customObject -> {
        Hibernate.initialize(customObject.getAListOfItems());
        return customObject;
    });

    return reader;
}

注意：需确保项目引入Hibernate核心依赖，才能使用Hibernate.initialize()方法。

3. 优化线程池参数（可选） #

你的线程池配置corePoolSize=20、maxPoolSize=20，但Step的throttleLimit=4，意味着实际最多只有4个线程同时处理Chunk，线程池参数设置过大造成资源浪费。建议调整为：

@Bean
public TaskExecutor batchTaskExecutor() {
    final ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
    executor.setCorePoolSize(4); // 与throttleLimit保持一致
    executor.setMaxPoolSize(8); // 按需调整
    executor.setQueueCapacity(10);
    executor.setThreadNamePrefix("Batch-");
    executor.initialize();
    return executor;
}

这样线程池大小与Step并发限制匹配，避免不必要的线程创建。

内容的提问来源于stack exchange，提问作者DJViking