Spring Batch长时Step执行触发连接关闭异常的解决方案咨询

你遇到的Connection is closed异常，核心原因是Step1的事务（或单个Chunk的事务）执行时长超过了Hikari连接池的max-lifetime（30分钟）：

• Hikari会主动回收达到生命周期上限的连接，不管连接是否正在事务中；
• Spring Batch在更新BATCH_STEP_EXECUTION_CONTEXT（保存步骤执行状态）时，尝试复用步骤事务持有的连接，但该连接已被Hikari回收，最终抛出连接关闭异常。

下面是不依赖延长max-lifetime的可行解决方案：

解决方案1：拆分Chunk大小，缩短单事务时长 #

如果当前employeeTmpProcessorPageSize设置过大，导致单个Chunk的执行时间超过30分钟，直接减小该值，确保每个Chunk的事务执行时长控制在30分钟以内。这样每个Chunk事务结束后，连接会归还池，不会触发Hikari的生命周期回收机制。

修改Step1的Chunk配置：

// 替换为合适的小数值，确保单个Chunk执行时间<30分钟
.<UUID, UUID>chunk(1000, transactionManager)

解决方案2：为JobRepository配置独立的事务资源 #

Spring Batch默认会复用步骤的事务连接来完成JobRepository的状态更新操作（比如保存Step Execution Context）。如果步骤事务过长，连接被回收就会触发异常。可以为JobRepository单独配置DataSource和TransactionManager，让它的操作始终使用新鲜连接，不受步骤长事务影响。

具体配置步骤： #

1. 创建专门用于JobRepository的Hikari连接池：

@Bean
@Qualifier("jobRepositoryDataSource")
public DataSource jobRepositoryDataSource() {
    HikariConfig config = new HikariConfig();
    config.setJdbcUrl("你的PostgreSQL连接地址");
    config.setUsername("数据库用户名");
    config.setPassword("数据库密码");
    config.setMaxLifetime(1800000); // 保持30分钟不变，JobRepository操作均为短事务，不会触发回收
    // 其他Hikari配置（如minimumIdle、maximumPoolSize等）
    return new HikariDataSource(config);
}

2. 为JobRepository创建独立的事务管理器：

@Bean
@Qualifier("jobRepositoryTransactionManager")
public PlatformTransactionManager jobRepositoryTransactionManager(
        @Qualifier("jobRepositoryDataSource") DataSource dataSource) {
    return new DataSourceTransactionManager(dataSource);
}

3. 初始化JobRepository时使用上述资源：

@Bean
public JobRepository jobRepository(
        @Qualifier("jobRepositoryTransactionManager") PlatformTransactionManager transactionManager,
        @Qualifier("jobRepositoryDataSource") DataSource dataSource) throws Exception {
    JobRepositoryFactoryBean factory = new JobRepositoryFactoryBean();
    factory.setDataSource(dataSource);
    factory.setTransactionManager(transactionManager);
    factory.setIsolationLevelForCreate("ISOLATION_REPEATABLE_READ"); // 匹配PostgreSQL默认隔离级别
    factory.setTablePrefix("dhs_sout.BATCH_"); // 与你的Spring Batch表前缀保持一致
    return factory.getObject();
}

4. 构建Job时使用该JobRepository：

@Bean
public Job myJob(JobRepository jobRepository, Step step0, Step step1, Step step2) {
    return new JobBuilder("myJob", jobRepository)
            .start(step0)
            .next(step1)
            .next(step2)
            .build();
}

解决方案3：禁用JobRepository与步骤事务的同步（谨慎使用） #

如果不想调整Chunk大小或配置独立资源，可以尝试禁用JobRepository与步骤事务的同步，让Spring Batch每次更新状态时都从连接池获取新连接。

在Step1的配置中添加transactionSynchronization配置：

return new StepBuilder("step1", jobRepository)
        .<UUID, UUID>chunk(employeeTmpProcessorPageSize, transactionManager)
        .reader(employeeTmpReader)
        .writer(employeeTmpWriter)
        .faultTolerant()
        .skipLimit(step1SkipLimit)
        .skip(RuntimeException.class)
        .allowStartIfComplete(true)
        .listener(new SPItemProcessorListener())
        .taskExecutor(taskExecutor)
        .transactionSynchronization(TransactionSynchronization.NEVER) // 添加此行
        .build();

⚠️ 注意：该方案会让JobRepository的状态更新与步骤事务脱离，存在数据一致性风险（比如步骤执行成功但状态更新失败），需根据业务场景评估可接受性。

内容的提问来源于stack exchange，提问作者asu