Spring Batch设置throttle limit超过7后API请求阻塞问题咨询

问题根因 #

1. 元数据库连接池耗尽
   你配置的Spring Batch元数据存储使用的BasicDataSource未设置maxTotal参数，该参数默认值为8，同时你配置的maxIdle仅为3。当Step的throttle limit超过7时，大量并行Chunk执行时需要频繁读写元数据表（记录执行状态、写入计数等），会直接占满所有数据库连接。此时轮询API调用jobExplorer.getJobExecution需要获取数据库连接查询元数据，只能进入排队等待状态，所以表现为API长时间无响应，刚好对应你观察到的“throttle limit7及以下正常，超过则API阻塞”的现象。

2. 局部线程池未初始化
   你在Step方法内直接new ThreadPoolTaskExecutor后没有手动调用初始化方法，Spring只会对容器管理的Bean自动执行afterPropertiesSet初始化逻辑，手动创建的局部实例未初始化时线程池处于未就绪状态，任务自然不会执行。

解决方案 #

1. 扩容Spring Batch元数据数据源连接池 #

调整自定义的BasicDataSource配置，增大连接数上限，如果业务读写和元数据存储共用数据源，建议拆分为两个独立数据源，避免互相影响：

dataSource.setInitialSize(10);
dataSource.setMinIdle(5);
dataSource.setMaxIdle(20);
dataSource.setMaxTotal(20); // 新增该配置，覆盖默认8的上限

2. 修复局部线程池不生效问题（可选，如果你需要在Step内自定义线程池） #

手动触发线程池初始化并注册销毁钩子：

@Bean
public Step step3_processRecords() throws Exception {
    ThreadPoolTaskExecutor threadPoolTaskExecutor = new ThreadPoolTaskExecutor();
    threadPoolTaskExecutor.setCorePoolSize(this.core_size);
    threadPoolTaskExecutor.setMaxPoolSize(this.max_pool_size);
    threadPoolTaskExecutor.setQueueCapacity(this.queue_capacity);
    threadPoolTaskExecutor.setThreadNamePrefix("threadExecutor");
    // 手动执行初始化
    threadPoolTaskExecutor.afterPropertiesSet();
    // 注册销毁逻辑，避免内存泄漏
    threadPoolTaskExecutor.setWaitForTasksToCompleteOnShutdown(true);
    threadPoolTaskExecutor.setAwaitTerminationSeconds(60);

    return stepBuilderFactory.get("step3")
            .<Transaction,Transaction>chunk(this.chunk)             
            .reader(itemReader(null,null,null))
            .processor(processor())
            .writer(writer(null,null,null))
            .taskExecutor(threadPoolTaskExecutor)
            .throttleLimit(20)
            .build();
}

内容的提问来源于stack exchange，提问作者Aneesha Rao