Spring Batch任务为何无法连续执行直至处理完所有批次？

数据老陈

2026-7-2

问题描述

维护一个基于Spring Batch的分片式任务服务，由Spring Scheduler触发，按25K条记录为一批次处理数据。本地环境中任务会连续执行批次直至所有记录处理完成，但在QA环境中，任务仅完成一个批次的读/处理/写操作后就进入空闲状态，需等待@Scheduled方法再次触发JobLauncher才会继续。

相关代码：

@Bean(name = "contactItemJob")
Job contactItemJob(MultiJobCheckBatchListener multiJobCheckBatchListener) {
    return jobs.get("contactItemJob").start(contactItemStep()).listener(multiJobCheckBatchListener).build();
}

private Step contactItemStep() {
    return steps.get("contactItemStep").<List<ScheduleResultSet>, List<Items>>chunk(1).faultTolerant()
            .skip(Exception.class).skipLimit(1).reader(scheduleItemReader()).processor(scheduleItemProcessor())
            .writer(scheduleItemWriter()).build();
}

排查情况：

对比application.yaml中Spring Batch相关字段，本地与QA环境一致
查询batch_step_execution表，步骤状态显示为STARTED，每次调度触发任务时表中会更新最新信息，这部分符合预期

请问Spring Batch任务仅能逐个完成chunk的可能原因有哪些？

可能原因分析

事务配置差异：QA环境的数据源可能配置了较短的事务超时时间，单个chunk执行时触发事务超时，Spring Batch会暂停当前步骤，等待下次调度恢复执行。此外，QA若使用分布式事务管理器（如XA），与本地的单一事务管理器行为不同，可能打断chunk的连续执行流程。
Reader分片逻辑异常：scheduleItemReader()的分片逻辑可能依赖环境参数，比如QA数据库的分页查询偏移量计算错误，或者分片键的范围在QA环境下每次仅返回25K条后就判定无更多数据，导致Reader返回null，Spring Batch认为当前步骤已完成，直到下次调度重新计算分片范围。
线程池资源限制：QA环境的JobLauncher或Step的TaskExecutor配置的线程数不足、队列容量过小，当前chunk占用线程后，无法启动下一个chunk的执行，只能等待下次调度释放资源后继续。
元数据表锁竞争：QA环境的batch_step_execution等Spring Batch元数据表可能存在锁等待（比如其他进程锁定了步骤记录），导致Spring Batch无法更新步骤状态以推进下一个chunk，虽然表面显示状态为STARTED，但实际无法继续执行。可检查数据库的锁状态或Spring Batch日志中的锁相关警告信息。
自定义监听器的环境依赖逻辑：MultiJobCheckBatchListener可能在QA环境中触发了暂停或终止逻辑（比如检查到QA特有的环境条件），或者抛出了未被skip规则覆盖的异常，导致任务中断。需排查监听器代码是否存在环境分支判断或异常处理逻辑。
Scheduler与Batch协同问题：QA环境的Spring Scheduler可能配置了任务执行超时，或者Scheduler与Batch的线程池存在资源冲突，导致Scheduler触发一次JobLauncher后无法继续触发下一次。另外，若JobLauncher异步执行时JobExecution状态被错误标记为COMPLETED，Scheduler会认为任务已完成，需等待下一次调度周期才会再次触发。

内容的提问来源于stack exchange，提问作者Robert Brewster