使用TaskExecutorJobLauncher时出现重复步骤执行提示问题

问题根因 #

1. ThreadLocal上下文未清理：Spring Batch执行任务时会通过JobSynchronizationManager和StepSynchronizationManager用ThreadLocal存储上下文信息。当使用复用线程的线程池（如ThreadPoolTaskExecutor）时，线程执行完任务后ThreadLocal状态未被清理，后续任务复用线程时，会误以为当前Job已包含某个Step，从而抛出重复检测错误。
2. Job定义线程不安全：如果你的Job实例是单例，且内部存在动态添加Step的逻辑，多线程并行启动任务时可能重复添加Step，触发该错误。

解决方案 #

方案1：清理线程池的ThreadLocal上下文 #

修改线程池配置，添加TaskDecorator在任务执行完成后清理Spring Batch的ThreadLocal状态：

@Bean
public ThreadPoolTaskExecutor threadPoolTaskExecutor() {
    ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
    taskExecutor.setCorePoolSize(corePoolSize);
    taskExecutor.setMaxPoolSize(maxPoolSize);
    taskExecutor.setQueueCapacity(queueCapacity);
    
    // 添加任务装饰器，清理Spring Batch线程上下文
    taskExecutor.setTaskDecorator(runnable -> () -> {
        try {
            runnable.run();
        } finally {
            // 强制关闭Spring Batch的同步管理器，清理ThreadLocal
            JobSynchronizationManager.close();
            StepSynchronizationManager.close();
        }
    });
    
    taskExecutor.afterPropertiesSet();
    return taskExecutor;
}

方案2：确保Job定义线程安全 #

如果你的Job存在动态构建Step的逻辑，避免复用单例Job实例，改为每次启动任务时创建新的Job实例（比如将Job的Bean作用域设为prototype）：

@Bean
@Scope("prototype")
public Job dynamicJob(Step step1) {
    return jobBuilderFactory.get("dynamicJob")
            .start(step1)
            // 动态添加Step的逻辑
            .build();
}

注意：使用prototype作用域时，需确保每次获取的是新的Job实例，避免容器复用。

方案3：强化Job参数唯一性 #

确认JobParametersIncrementer生成的参数是唯一的，可在时间戳基础上添加UUID强化唯一性，避免因参数重复导致JobExecution复用旧状态：

public class CustomIncrementer implements JobParametersIncrementer {
    @Override
    public JobParameters getNext(JobParameters parameters) {
        return new JobParametersBuilder(parameters)
                .addString("uuid", UUID.randomUUID().toString())
                .addLong("timestamp", System.currentTimeMillis())
                .toJobParameters();
    }
}

额外检查 #

• 确保Step实例是无状态的，避免多线程执行时共享状态导致异常。
• 确认Job定义中没有重复的Step名称（同步执行正常说明此点无问题，但异步场景下可再次验证）。

内容的提问来源于stack exchange，提问作者Sven