Spring Batch步骤容错针对唯一约束失效问题求助

嘿，我来帮你搞定这个问题！你遇到的核心问题是Spring Batch默认不会自动跳过数据库唯一约束异常，而且JpaItemWriter默认是批量提交chunk，一旦chunk里有一条记录违反约束，整个chunk都会回滚，导致容错机制没生效。下面给你一步步的解决方案：

1. 核心原因 #

Spring Batch的faultTolerant()特性默认是关闭的，默认遇到异常会终止整个Step，不会跳过错误记录。另外，JpaItemWriter的批量提交特性会让整个chunk因为一条错误记录而回滚，所以需要显式配置跳过策略。

2. 解决方案：配置自定义跳过策略 #

首先，我们需要创建一个自定义的SkipPolicy，用来识别数据库唯一约束相关的异常，让Spring Batch跳过这些错误记录，继续处理其他数据。

自定义跳过策略代码 #

import org.springframework.batch.core.step.skip.SkipLimitExceededException;
import org.springframework.batch.core.step.skip.SkipPolicy;
import org.springframework.dao.DuplicateKeyException;

public class DuplicateKeySkipPolicy implements SkipPolicy {

    private final int skipLimit;

    public DuplicateKeySkipPolicy(int skipLimit) {
        this.skipLimit = skipLimit;
    }

    @Override
    public boolean shouldSkip(Throwable t, long skipCount) throws SkipLimitExceededException {
        // 识别DuplicateKeyException或者SQL层面的唯一约束异常
        if (isUniqueConstraintViolation(t)) {
            if (skipCount < skipLimit) {
                return true; // 允许跳过这条记录
            } else {
                throw new SkipLimitExceededException("已达到最大跳过次数：" + skipLimit);
            }
        }
        // 其他异常不跳过，终止Step
        return false;
    }

    private boolean isUniqueConstraintViolation(Throwable t) {
        // 根据不同数据库的SQL状态码判断：MySQL是23000，PostgreSQL是23505
        if (t instanceof DuplicateKeyException) {
            return true;
        }
        if (t.getCause() instanceof java.sql.SQLIntegrityConstraintViolationException) {
            java.sql.SQLIntegrityConstraintViolationException sqlEx = 
                (java.sql.SQLIntegrityConstraintViolationException) t.getCause();
            String sqlState = sqlEx.getSQLState();
            return "23000".equals(sqlState) || "23505".equals(sqlState);
        }
        return false;
    }
}

修改Step配置，启用容错和跳过策略 #

在你的Step构建代码中，添加faultTolerant()并配置自定义跳过策略：

@Bean
public Step hotelStep1(ItemWriter<Hotel> writer) {
    return stepBuilderFactory.get("hotelStep1")
            .<HotelCSVDto, Hotel>chunk(50)
            .reader(hotelReader())
            .processor(hotelProcessor()) // 假设你有对应的处理器
            .writer(writer)
            // 启用容错机制
            .faultTolerant()
            // 配置自定义跳过策略，允许最多跳过100条重复记录
            .skipPolicy(new DuplicateKeySkipPolicy(100))
            .build();
}

3. 优化方案：提前在Processor阶段过滤重复记录 #

如果想避免走到Writer阶段才抛出异常，可以在ItemProcessor中提前查询数据库，过滤掉已存在的记录，这样能提升处理效率：

带重复过滤的Processor代码 #

@Bean
public ItemProcessor<HotelCSVDto, Hotel> hotelProcessor(EntityManager entityManager) {
    return csvDto -> {
        // 根据你的唯一约束字段查询（比如name + location）
        Hotel existingHotel = entityManager.createQuery(
                "SELECT h FROM Hotel h WHERE h.name = :name AND h.location = :location", Hotel.class)
                .setParameter("name", csvDto.getName())
                .setParameter("location", csvDto.getLocation())
                .getResultStream()
                .findFirst()
                .orElse(null);

        if (existingHotel != null) {
            // 返回null表示跳过这条记录
            return null;
        }

        // 转换CSV DTO为JPA实体
        Hotel hotel = new Hotel();
        hotel.setName(csvDto.getName());
        hotel.setLocation(csvDto.getLocation());
        // 其他字段赋值...
        return hotel;
    };
}

配套Step配置（处理null返回值） #

如果Processor返回null，默认会抛出NullPointerException，所以需要在Step中配置跳过这个异常：

@Bean
public Step hotelStep1(ItemWriter<Hotel> writer) {
    return stepBuilderFactory.get("hotelStep1")
            .<HotelCSVDto, Hotel>chunk(50)
            .reader(hotelReader())
            .processor(hotelProcessor())
            .writer(writer)
            .faultTolerant()
            // 跳过Processor返回null导致的空指针异常
            .skip(NullPointerException.class)
            .skipLimit(100)
            // 同时保留唯一约束异常的跳过策略
            .skipPolicy(new DuplicateKeySkipPolicy(100))
            .build();
}

关键注意点 #

• 启用faultTolerant()是配置跳过/重试的前提，否则Spring Batch遇到异常会直接终止Step。
• 自定义跳过策略时，要适配你使用的数据库（不同数据库的唯一约束SQL状态码可能不同）。
• 如果使用批量提交，配置跳过策略后，Spring Batch会自动跳过错误记录，重新提交chunk中剩余的正确记录。

内容的提问来源于stack exchange，提问作者JasminDan