Spring Batch多ETL Job并行执行时Reader等组件阻塞问题求助

一、核心排查方向 #

1. 检查JobLauncher线程池配置 #

默认SimpleJobLauncher是同步执行逻辑，必须配置异步线程池才能实现多Job并行。如果线程池核心线程数过小（比如设为1），会直接导致Job串行执行；若队列容量不足且拒绝策略不合理，也会引发任务阻塞等待。结合线程Dump重点查看：是否有线程处于WAITING状态，等待线程池分配执行资源。

2. 排查REST请求连接池瓶颈 #

如果所有Job的Reader共享同一个RestTemplate，默认连接池（如HttpComponentsClientHttpRequestFactory）的maxTotal或defaultMaxPerRoute配置过小，会导致后续请求阻塞等待空闲连接。线程Dump中若出现PoolEntryFuture相关的等待状态，可直接确认此问题。

3. 检查JobRepository事务隔离级别 #

Spring Batch默认JobRepository使用ISOLATION_SERIALIZABLE隔离级别，会引发Job间的锁竞争（尤其是读取JobExecution/StepExecution元数据时），导致任务阻塞。

4. 验证Reader的并发安全性 #

检查Reader实现是否存在以下问题：

• 共享的非线程安全对象（如静态变量、单例状态）
• 不必要的synchronized同步块
  这些都会导致多Job并行时的阻塞。

二、针对性解决建议 #

1. 配置异步JobLauncher线程池 #

确保JobLauncher使用多线程池执行Job，示例代码：

@Bean
public JobLauncher asyncJobLauncher(JobRepository jobRepository) throws Exception {
    SimpleJobLauncher jobLauncher = new SimpleJobLauncher();
    jobLauncher.setJobRepository(jobRepository);
    jobLauncher.setTaskExecutor(batchTaskExecutor());
    jobLauncher.afterPropertiesSet();
    return jobLauncher;
}

@Bean
public TaskExecutor batchTaskExecutor() {
    ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
    executor.setCorePoolSize(10); // 根据Job数量和系统资源调整
    executor.setMaxPoolSize(20);
    executor.setQueueCapacity(50);
    executor.setThreadNamePrefix("batch-exec-");
    executor.initialize();
    return executor;
}

2. 优化REST请求连接池 #

增大连接池容量，避免连接耗尽，示例RestTemplate配置：

@Bean
public RestTemplate batchRestTemplate() {
    PoolingHttpClientConnectionManager connectionManager = new PoolingHttpClientConnectionManager();
    connectionManager.setMaxTotal(50); // 全局最大连接数
    connectionManager.setDefaultMaxPerRoute(20); // 单域名最大连接数

    HttpClient httpClient = HttpClients.custom()
            .setConnectionManager(connectionManager)
            .build();

    HttpComponentsClientHttpRequestFactory requestFactory = new HttpComponentsClientHttpRequestFactory(httpClient);
    requestFactory.setConnectTimeout(5000);
    requestFactory.setReadTimeout(30000);

    return new RestTemplate(requestFactory);
}

3. 调整JobRepository隔离级别 #

将隔离级别改为ISOLATION_REPEATABLE_READ，减少锁竞争：

@Bean
public JobRepository jobRepository(DataSource dataSource, PlatformTransactionManager transactionManager) throws Exception {
    JobRepositoryFactoryBean factory = new JobRepositoryFactoryBean();
    factory.setDataSource(dataSource);
    factory.setTransactionManager(transactionManager);
    factory.setIsolationLevelForCreate("ISOLATION_REPEATABLE_READ");
    factory.setTablePrefix("BATCH_"); // 若使用自定义表前缀需配置
    factory.afterPropertiesSet();
    return factory.getObject();
}

4. 保证Reader的独立性 #

• 每个Job的Reader使用独立实例（避免单例注入）
• 移除Reader中不必要的同步代码块
• 若使用共享工具类，确保其线程安全

5. 优化长耗时Reader #

对于耗时数分钟的REST Reader，可改为异步非阻塞模式：

• 使用WebClient的异步API发起请求，缓存响应数据后再进入处理阶段
• 将Reader拆分为两步：第一步异步触发数据获取，第二步读取缓存数据执行处理，避免占用Batch线程过长时间

内容的提问来源于stack exchange，提问作者Sagar SN