如何处理Spring Boot CrudRepository的saveAll方法唯一约束触发的DataIntegrityViolationException

以下3种方案可实现跳过唯一约束冲突对象、正常保存剩余数据的需求：

方案1：前置查询去重后批量插入 #

先批量查询已存在的冲突数据，过滤后再调用saveAll插入：

1. 在实体对应的Repository接口中新增基于唯一键的批量查询方法，假设唯一键字段为unique_code：

   // 你的实体Repository接口
   public interface YourEntityRepository extends CrudRepository<YourEntity, Long> {
       List<YourEntity> findByUniqueCodeIn(Collection<String> uniqueCodes);
   }
   

2. 处理待插入数据：
   • 提取所有待插入对象的unique_code生成列表
   • 调用上述方法查询数据库中已存在的编码集合
   • 过滤待插入列表，仅保留编码不在已存在集合中的对象
   • 调用saveAll插入过滤后的数据
     适合冲突率高、并发写入少的场景，优点是实现简单，完全贴合JPA规范，可正常触发JPA实体生命周期回调

方案2：使用MySQL INSERT IGNORE 原生语法批量插入 #

直接在数据库层面跳过冲突行，性能最高，并发场景下也不会出现问题：

1. 在Repository中自定义批量插入的原生SQL方法：

   @Modifying
   @Query(nativeQuery = true, value = "INSERT IGNORE INTO your_table (column1, column2, unique_code) VALUES (:#{#entity.column1}, :#{#entity.column2}, :#{#entity.uniqueCode})")
   void batchInsertIgnore(@Param("entity") List<YourEntity> entities);
   

   也可使用JdbcTemplate实现更灵活的批量参数拼接。
   适合数据量大、并发写入多的场景，优点是无需前置查询，数据库层面直接处理冲突；缺点是无法触发JPA的@PrePersist等生命周期回调，仅能获取插入成功的行数，无法直接感知具体冲突条目

方案3：单条插入+异常捕获 #

遍历待插入列表，单条执行保存并捕获冲突异常：

@Transactional(rollbackFor = Exception.class)
public void batchSaveWithSkip(List<YourEntity> entities) {
    for (YourEntity entity : entities) {
        try {
            repository.save(entity);
        } catch (DataIntegrityViolationException e) {
            // 可记录冲突条目日志，此处直接跳过
        }
    }
}

适合数据量小、冲突率低的场景，优点是实现最简单，可直接记录所有冲突条目；缺点是批量操作退化为单条插入，性能极低

注意事项 #

• 若选择前置去重方案，高并发场景下需配合分布式锁或事务兜底，避免查询和插入的间隙有其他请求写入重复数据，导致saveAll仍触发冲突异常
• 若业务需要统计、处理冲突的条目，优先选择前置去重或单条插入方案，INSERT IGNORE无法直接返回冲突的具体行信息

内容的提问来源于stack exchange，提问作者Raman Joshi