Spring Batch设置batch.max.workers后首批worker完成未创建后续pod如何处理

问题根因 #

Spring Boot 2.1.9 配套的 Spring Batch 4.1.x 版本中，batch.max.workers 仅限制单批次并行的worker上限，默认没有自动触发后续批次worker调度的逻辑，90%以上的此类问题都是任务执行器没有预留轮询线程，或是分区handler没有配置状态轮询规则导致的。

必须补充的配置 #

1. 调整通用任务执行器参数 #

必须预留至少1个独立线程用于轮询已完成的worker状态，触发下一批次worker创建：

# 核心线程数 = 最大并行worker数 + 1（预留轮询线程），这里你设的max.workers是5，所以核心线程数至少为6
spring.task.execution.pool.core-size=6
spring.task.execution.pool.max-size=12
# 允许核心线程超时回收，避免长时间占用资源
spring.task.execution.pool.allow-core-thread-timeout=true
spring.task.execution.pool.keep-alive=60s
spring.task.execution.pool.queue-capacity=10

2. 显式配置分区Handler的轮询规则 #

如果你使用默认的TaskExecutorPartitionHandler，需要手动设置轮询间隔和并行数，Spring Boot 2.1.x 版本不会自动注入这两个参数：

@Configuration
public class BatchPartitionConfig {
    @Bean
    public TaskExecutorPartitionHandler partitionHandler(
            TaskExecutor applicationTaskExecutor,
            Step workerStep
    ) {
        TaskExecutorPartitionHandler handler = new TaskExecutorPartitionHandler();
        handler.setTaskExecutor(applicationTaskExecutor);
        handler.setStep(workerStep);
        // 单批次并行worker数，和batch.max.workers配置保持一致
        handler.setGridSize(5);
        // 每2秒轮询一次worker执行状态，检测到有worker完成就调度下一批
        handler.setPollInterval(2000);
        return handler;
    }
}

3. 云原生部署额外补充配置 #

如果你是通过Spring Cloud Deployer Kubernetes来调度独立Pod作为worker，需要补充以下配置：

# 限制部署器单次并发创建的Pod数量，和max.workers一致
spring.cloud.deployer.kubernetes.max-concurrent-tasks=5
# worker执行完成后自动删除Pod，避免残留资源阻塞后续调度
spring.cloud.deployer.kubernetes.delete-pods-on-completion=true

校验规则 #

配置完成后可以先做小流量测试：设置10个分区，max.workers=2，观察是否会分5批跑完所有分区，主任务最终返回COMPLETED状态即可。

内容的提问来源于stack exchange，提问作者Mayank S