Spring Batch从JobContext取commit-interval偶尔失效问题排查

问题背景 #

使用Spring Batch 3.0.4，通过BeforeJobListener从数据库查询各步骤的commit-interval值并存入JobContext，步骤配置通过SpEL表达式#{jobExecutionContext['CI_myCommitIntervalValue']}读取该值。但出现偶发失效情况：设定commit-interval=15000、需处理45k条数据时，预期提交3次，却偶尔出现Writer每次仅处理1条数据的情况，有时又能正常执行。

已排查点：

• 确认JobExecution中commit-interval值已正确填充
• Writer添加synchronized修饰无效果
• 28个同配置步骤采用懒加载Bean
• 怀疑与多线程配置相关，但未找到根因

运行时查看实际commit-interval的方法 #

1. 开启DEBUG日志 #

将org.springframework.batch.core.step.item.ChunkOrientedTasklet的日志级别设为DEBUG，该类会在Chunk处理开始时打印实际的Chunk大小（即commit-interval），日志示例：

DEBUG ChunkOrientedTasklet: Starting chunk processing. Chunk size: 15000

2. 自定义StepListener反射获取 #

编写自定义StepListener，在步骤启动时通过反射读取ChunkOrientedTasklet的commitInterval字段：

public class CommitIntervalChecker extends StepExecutionListenerSupport {
    @Override
    public void beforeStep(StepExecution stepExecution) {
        Step currentStep = stepExecution.getJobExecution().getJobInstance().getJob().getSteps().stream()
                .filter(step -> step.getName().equals(stepExecution.getStepName()))
                .findFirst().orElseThrow(() -> new IllegalArgumentException("Step not found"));
        
        Tasklet tasklet = currentStep.getTasklet();
        if (tasklet instanceof ChunkOrientedTasklet) {
            try {
                Field commitIntervalField = ChunkOrientedTasklet.class.getDeclaredField("commitInterval");
                commitIntervalField.setAccessible(true);
                int actualCommitInterval = (int) commitIntervalField.get(tasklet);
                System.out.printf("Step [%s] 实际commit-interval: %d%n", stepExecution.getStepName(), actualCommitInterval);
            } catch (NoSuchFieldException | IllegalAccessException e) {
                e.printStackTrace();
            }
        }
    }
}

在步骤配置中添加该监听器：

<batch:listeners>
    <batch:listener ref="commitIntervalChecker"/>
    <batch:listener ref="errorControlStepListener"/>
</batch:listeners>

3. 调试模式查看 #

在IDE调试时，断点打到ChunkOrientedTasklet.execute()方法，直接查看commitInterval字段的值。

确保commit-interval配置生效的排查与解决思路 #

1. 修正SpEL表达式解析路径 #

将原SpEL表达式改为从StepExecution关联的JobExecution中读取，避免上下文解析歧义：

commit-interval="#{stepExecution.jobExecution.executionContext['CI_myCommitIntervalValue']}"

2. 确认SpEL解析时机与JobContext填充顺序 #

BeforeJobListener的beforeJob方法会在所有步骤执行前触发，需确保该方法执行完成后，JobExecutionContext的值已稳定写入。可在beforeJob中添加日志，确认值已正确设置：

@Override
public void beforeJob(JobExecution jobExecution) {
    int commitInterval = // 从数据库查询的值
    jobExecution.getExecutionContext().put("CI_myCommitIntervalValue", commitInterval);
    System.out.printf("JobContext已设置commit-interval: %d%n", commitInterval);
}

3. 排查Spring Batch版本bug #

Spring Batch 3.0.4为2015年发布的旧版本，存在部分SpEL解析与多线程上下文相关的已知问题。建议升级至3.x系列的稳定版本（如3.0.10.RELEASE），或直接升级到4.x版本，可有效避免此类偶发问题。

4. 验证多线程配置合理性 #

步骤中配置的task-executor是用于执行整个Tasklet的线程池，需确保：

• 线程池的throttle-limit设置合理，避免线程上下文混乱
• 若步骤为串行执行，线程池核心数设置为1可消除多线程上下文干扰（若业务允许）

5. 检查Writer嵌套结构的类型匹配 #

当前Writer实现为ItemWriter<List<MyDTO>>，调用的myDDBBWriter为ItemWriter<MyDTO>，存在类型不匹配问题：myDDBBWriter.write()接收的是List<? extends MyDTO>，但传入的是List<? extends List<MyDTO>>，会导致每次处理的是一个List<MyDTO>对象而非单条数据。需修正Writer逻辑，确保类型一致：

@Override
public void write(List<? extends List<MyDTO>> itemsList) throws Exception {
    // 将嵌套列表扁平化为单条数据列表
    List<MyDTO> flatItems = itemsList.stream()
            .flatMap(List::stream)
            .collect(Collectors.toList());
    myDDBBWriter.write(flatItems);
}

内容的提问来源于stack exchange，提问作者JuniorGuy