Spring Batch：高效实现ItemWriter对DataIntegrityViolationException的容错

一、为什么当前配置会跳过整个chunk？ #

你用的RepositoryItemWriter默认是调用saveAll做批量写入，当批量插入里有一条数据违反唯一约束时，数据库抛出的DataIntegrityViolationException是针对整个批量操作的，Spring Batch没法定位到具体是哪条数据出问题，所以只能把整个chunk当成失败来跳过。

要实现单条数据跳过，得改writer的实现：

• 自定义ItemWriter，循环处理每个item，逐个调用repository的save方法，捕获单条的DataIntegrityViolationException，同时手动抛出SkipException让Spring Batch识别到是单条跳过而非整个chunk出错。示例代码大概是这样：

public class FaultTolerantItemWriter implements ItemWriter<Entity> {
    private final YourRepository repository;

    public FaultTolerantItemWriter(YourRepository repository) {
        this.repository = repository;
    }

    @Override
    public void write(List<? extends Entity> items) throws Exception {
        for (Entity item : items) {
            try {
                repository.save(item);
            } catch (DataIntegrityViolationException e) {
                // 记录日志标记跳过的数据
                throw new SkipException("跳过重复数据: " + item, e);
            }
        }
    }
}

然后你的step配置里替换成这个自定义writer，原来的skipLimit、skip(DataIntegrityViolationException.class)等容错配置就能生效，只会跳过出错的单条，不会丢掉整个chunk。

二、chunk模式跳过开销高的高效替代方案 #

如果觉得单条处理效率低，最推荐的是数据库层面直接处理重复数据，这比Java层面捕获异常高效得多：

• MySQL用INSERT ... ON DUPLICATE KEY UPDATE（更新重复数据）或INSERT IGNORE（直接忽略重复数据）；
• PostgreSQL用INSERT ... ON CONFLICT (唯一索引列) DO NOTHING（忽略）或DO UPDATE SET ...（更新）；
• Oracle可以用MERGE INTO语法实现类似逻辑。

这种方式下，你可以继续用批量写入，数据库会自动处理重复数据，不会抛出异常，Spring Batch不需要做任何容错处理，性能和纯批量写入几乎一致，是最高效的方案。

另外还有折中方案：当批量写入失败时，把当前chunk拆分成更小的子chunk（比如二分法拆分），逐步定位到出错的单条数据，跳过它之后再批量处理剩下的。这种方式比全单条处理效率高，又能避免整个chunk被跳过，但需要自己实现拆分重试的逻辑。

内容的提问来源于stack exchange，提问作者Tovarisch