使用@Transactional与异常捕获无效，如何仅新增数据库非存在数据？

原方案失效的核心问题在于saveAll是批量提交操作——当列表中某条数据触发唯一约束异常时，数据库会直接中断整个批次的执行，后续数据根本不会被尝试插入。即使你用try-catch捕获异常、配置noRollbackFor，也只能阻止事务回滚，但没法让批量操作继续执行剩下的条目。

以下是三种可行的解决方案：

方案一：先查询过滤，再批量保存（适合小数据量） #

先通过唯一标识（比如业务主键、ID）查询数据库中已存在的记录，过滤掉列表里重复的条目后再批量保存，从根源上避免冲突：

// 假设实体类有唯一业务字段 businessKey
// 1. 提取列表中所有待校验的唯一键
Set<String> targetKeys = list.stream()
    .map(YourEntity::getBusinessKey)
    .collect(Collectors.toSet());

// 2. 查询数据库中已存在的唯一键
Set<String> existingKeys = yourDao.findByBusinessKeyIn(targetKeys)
    .stream()
    .map(YourEntity::getBusinessKey)
    .collect(Collectors.toSet());

// 3. 过滤出不存在的条目
List<YourEntity> toSaveList = list.stream()
    .filter(entity -> !existingKeys.contains(entity.getBusinessKey()))
    .collect(Collectors.toList());

// 4. 批量保存
yourDao.saveAll(toSaveList);

注意：高并发场景下，查询和保存之间可能出现竞态（比如查询后其他线程插入了同一条数据），这时仍可能触发唯一约束异常，可以结合方案三的异常捕获做兜底。

方案二：数据库层面原子操作（适合大数据量，效率最高） #

利用数据库原生语法实现「存在则忽略，不存在则插入」，这是原子操作，不会有竞态问题，效率远高于先查后存：

MySQL 示例（使用 ON DUPLICATE KEY UPDATE） #

自定义Repository方法，执行原生SQL：

@Repository
public interface YourDao extends JpaRepository<YourEntity, Long> {
    @Modifying
    @Query(value = "INSERT INTO your_table (id, business_key, column1, column2) " +
                   "VALUES (:id, :businessKey, :column1, :column2) " +
                   "ON DUPLICATE KEY UPDATE id = id", // 空操作，仅触发忽略
           nativeQuery = true)
    void insertOrIgnore(@Param("id") Long id,
                        @Param("businessKey") String businessKey,
                        @Param("column1") String column1,
                        @Param("column2") Integer column2);
}

然后批量调用该方法，或者直接写批量插入的SQL（注意数据库对批量语句的限制）。

PostgreSQL 示例（使用 ON CONFLICT DO NOTHING） #

@Repository
public interface YourDao extends JpaRepository<YourEntity, Long> {
    @Modifying
    @Query(value = "INSERT INTO your_table (id, business_key, column1, column2) " +
                   "VALUES (:id, :businessKey, :column1, :column2) " +
                   "ON CONFLICT (business_key) DO NOTHING", // 指定唯一约束字段
           nativeQuery = true)
    void insertOrIgnore(@Param("id") Long id,
                        @Param("businessKey") String businessKey,
                        @Param("column1") String column1,
                        @Param("column2") Integer column2);
}

方案三：循环单条保存+独立事务（兼容原有逻辑，适合小数据量） #

把批量保存拆成单条循环，每条保存用独立事务，捕获异常后跳过：

// ServiceImpl 中定义单条保存的方法，用独立事务
@Transactional(propagation = Propagation.REQUIRES_NEW)
public void saveSingle(YourEntity entity) {
    yourDao.save(entity);
}

// 循环处理列表
list.forEach(entity -> {
    try {
        saveSingle(entity);
    } catch (SQLIntegrityConstraintViolationException | 
             ConstraintViolationException | 
             DataIntegrityViolationException e) {
        // 记录日志，跳过当前条目
        log.warn("跳过已存在的记录: {}", entity.getBusinessKey(), e);
    }
});

为什么用REQUIRES_NEW？如果共用同一个事务，某条抛出异常即使被捕获，事务也会被标记为回滚状态，最终所有操作都会回滚。用独立事务可以保证单条失败不影响其他。

内容的提问来源于stack exchange，提问作者Khyati Chhajed