Spring Batch中如何实现跳过部分失败记录而非回滚整个Chunk？

你遇到的问题其实是Spring Batch容错机制的典型场景——默认情况下如果不开启容错配置，Chunk中只要有一条记录处理失败，整个Chunk就会回滚。但Spring Batch本身就支持Item级别的跳过，不需要你自己维护计数器绕开SkipPolicy，而且能保证元数据的一致性。下面我分两部分解答：

一、原生Spring Batch实现方案（推荐） #

核心是通过开启Step的容错模式，结合自定义Job级别的SkipPolicy，实现全局跳过上限控制，同时只跳过无效记录，不回滚整个Chunk。

1. 关键配置：开启容错并绑定SkipPolicy #

首先，你的Step必须开启faultTolerant()（这是很多人容易忽略的点！），否则Spring Batch不会启用跳过/重试机制，只要有异常就会回滚整个Chunk。然后通过自定义SkipPolicy来实现Job级的跳过计数，而不是Step级的局部计数。

举个Java Config的例子：

@Bean
public Step myProcessingStep() {
    return stepBuilderFactory.get("myProcessingStep")
            .<MyRecord, MyRecord>chunk(5) // 你的Chunk Size
            .reader(customItemReader())
            .processor(customItemProcessor())
            .writer(customItemWriter())
            .faultTolerant() // 必须开启容错，才能启用跳过逻辑
            .skipPolicy(jobLevelSkipPolicy()) // 绑定自定义的Job级跳过策略
            .build();
}

@Bean
public SkipPolicy jobLevelSkipPolicy() {
    return new JobLevelSkipPolicy(2); // 传入Job级的跳过上限（你需要的2条）
}

2. 自定义JobLevelSkipPolicy实现全局计数 #

这个SkipPolicy会从JobExecution的上下文中累计整个Job的跳过数，而不是Step级的局部计数，这样就能实现你要的Job级全局跳过限制：

public class JobLevelSkipPolicy implements SkipPolicy {

    private final int globalSkipLimit;

    public JobLevelSkipPolicy(int globalSkipLimit) {
        this.globalSkipLimit = globalSkipLimit;
    }

    @Override
    public boolean shouldSkip(Throwable throwable, int stepSkipCount) throws SkipLimitExceededException {
        // 从当前Step上下文获取JobExecution
        JobExecution jobExecution = StepSynchronizationManager.getContext().getJobExecution();
        ExecutionContext jobContext = jobExecution.getExecutionContext();

        // 获取Job级的累计跳过数，默认0
        int totalJobSkips = jobContext.getInt("totalJobSkips", 0);

        // 只跳过指定的无效记录异常（比如你自定义的InvalidRecordException）
        if (throwable instanceof InvalidRecordException) {
            if (totalJobSkips < globalSkipLimit) {
                // 更新全局跳过计数并持久化到Job上下文
                jobContext.putInt("totalJobSkips", totalJobSkips + 1);
                return true; // 允许跳过这条记录
            } else {
                // 超过全局上限，抛出异常终止Job
                throw new SkipLimitExceededException(
                    String.format("Job级跳过上限已达：%d，终止执行", globalSkipLimit)
                );
            }
        }

        // 非目标异常，不跳过，触发Chunk回滚（根据你的需求调整）
        return false;
    }
}

3. 效果验证 #

当Chunk中出现无效记录时：

• 该记录会被SkipPolicy标记为跳过，不会触发整个Chunk的回滚
• Chunk中其他正常记录会被正常提交
• 全局跳过数累计到JobExecution上下文中，跨Step/Thread生效
• 当跳过数达到上限时，才会终止整个Job

二、对你自定义思路的点评 #

你提到的“自己维护计数器、不抛异常”的思路确实能避免Chunk回滚，但有两个致命问题：

1. 元数据不一致：Spring Batch的元数据表（比如BATCH_SKIPPED_EXECUTION）不会记录这些被跳过的无效记录，所有记录都会被标记为“成功处理”，后续排查问题时根本无法区分哪些是真的有效，哪些是被跳过的无效记录。
2. 失去Spring Batch的原生能力：你无法利用Spring Batch提供的跳过回调（比如SkipListener）来统一处理跳过的记录（比如写入日志、归档无效数据），也无法在Job重启时复用已有的跳过计数。

这种思路相当于绕开了Spring Batch的核心设计，短期可能能解决问题，但长期会带来维护和排查的巨大成本，非常不推荐。

三、额外注意点 #

• 确保你的ItemProcessor/ItemWriter在处理无效记录时，抛出特定的异常类型（比如自定义的InvalidRecordException），避免误跳过其他系统异常（比如数据库连接失败）。
• JobExecution的上下文会被Spring Batch持久化到元数据表中，所以即使Job重启，全局跳过计数也会保留，符合你要的Job级限制。
• 如果使用XML配置，对应的标签是<fault-tolerant>，然后通过<skip-policy ref="jobLevelSkipPolicy"/>绑定自定义策略。

备注：内容来源于stack exchange，提问作者miplodder