Spring Batch容错处理：导入CSV城市数据时忽略重复键冲突错误

看起来你在使用Spring Batch导入城市CSV数据时碰到了唯一约束冲突的问题，导致整个导入步骤中断了。别担心，有几种成熟的方法可以让你忽略这类错误，继续完成剩余数据的导入：

方案1：配置Step的跳过异常规则 #

Spring Batch提供了容错机制，允许你指定遇到特定异常时跳过当前条目，继续处理后续数据。你只需要在Step配置中开启faultTolerant，并指定要跳过的异常类型即可。

Java配置示例 #

@Bean
public Step cityStep1(ItemReader<City> cityItemReader,
                      ItemProcessor<City, City> cityItemProcessor,
                      ItemWriter<City> cityItemWriter) {
    return stepBuilderFactory.get("cityStep1")
            .<City, City>chunk(10)
            .reader(cityItemReader)
            .processor(cityItemProcessor)
            .writer(cityItemWriter)
            .faultTolerant()
            // 跳过Spring封装的重复键异常，也可以用具体数据库的异常（比如SQLIntegrityConstraintViolationException）
            .skip(DuplicateKeyException.class)
            .skipLimit(100) // 可选：设置最大跳过条数，防止无限制跳过异常数据
            .build();
}

XML配置示例 #

<step id="cityStep1">
    <tasklet>
        <chunk reader="cityItemReader" processor="cityItemProcessor" writer="cityItemWriter" commit-interval="10"/>
        <fault-tolerant>
            <skip-exception-class>org.springframework.dao.DuplicateKeyException</skip-exception-class>
            <skip-limit>100</skip-limit>
        </fault-tolerant>
    </tasklet>
</step>

如果需要记录被跳过的条目，还可以添加SkipListener来记录日志或保存跳过的数据。

方案2：在ItemProcessor中提前过滤重复项 #

你可以在数据写入数据库之前，先查询数据库判断当前条目是否已存在，存在则返回null，这样ItemWriter会自动跳过这条数据。

示例代码：

@Component
public class CityItemProcessor implements ItemProcessor<City, City> {

    private final CityRepository cityRepository;

    // 构造注入Repository
    public CityItemProcessor(CityRepository cityRepository) {
        this.cityRepository = cityRepository;
    }

    @Override
    public City process(City city) throws Exception {
        // 根据唯一约束的字段组合查询是否存在
        boolean isDuplicate = cityRepository.existsByCountryAndCityNameAndLatitudeAndLongitude(
                city.getCountry(), city.getCityName(), city.getLatitude(), city.getLongitude());
        
        return isDuplicate ? null : city; // 返回null表示跳过当前条目
    }
}

这种方法能避免数据库层面的异常，但如果是多线程并发导入，可能存在竞态条件（比如两个线程同时检查同一条数据，都认为不存在然后插入），所以建议结合方案1作为兜底。

方案3：利用数据库的忽略重复插入语法 #

如果你的数据库支持，可以直接在插入SQL中指定忽略重复项，让数据库自动处理冲突，不会抛出异常。

MySQL 示例 #

使用INSERT IGNORE：

INSERT IGNORE INTO city (country, city_name, latitude, longitude) VALUES (?, ?, ?, ?)

PostgreSQL 示例 #

使用ON CONFLICT DO NOTHING：

INSERT INTO city (country, city_name, latitude, longitude) VALUES (?, ?, ?, ?)
ON CONFLICT (country, city_name, latitude, longitude) DO NOTHING

这种方法最简洁，把冲突处理逻辑交给数据库，不需要修改Spring Batch的容错配置，适合不需要额外处理重复数据的场景。

你可以根据自己的业务需求选择合适的方案：如果需要记录跳过的条目，优先方案1；如果想提前过滤减少数据库交互，选方案2；如果追求简单直接，方案3是最优解。

内容的提问来源于stack exchange，提问作者JasminDan