Spring Boot JPA批量插入遇异常如何跳过错误继续执行？

核心思路 #

Hibernate的批量插入默认是原子性的，一旦批次内某条数据出错，整个批次会触发回滚。要实现跳过错误数据、留存成功数据并收集失败数据的需求，核心是拆分数据范围+独立事务控制，通过单条或小批次的事务隔离，避免单个错误影响整体插入。

具体实现方案 #

1. 移除全局事务，改为局部事务控制 #

你原方法上的@Transactional(noRollbackFor = Exception.class)无法达到预期，因为Hibernate会在事务提交阶段统一执行批量操作，一旦出现异常，整个事务内的所有操作都会回滚。需要将事务控制缩小到单条或小批量的保存操作上。

2. 拆分数据并处理异常 #

提供两种实现方式，可根据数据量和性能需求选择：

方式一：单条数据独立处理（错误定位直接）

// 方法上不要添加全局@Transactional
public BatchResult addEmployeesInBatch() {
    System.out.println("------------------Batch inserts starts ---------------------");
    List<EmployeeBatch> employeeBatchList = getEmployeesForBatchNew();
    List<EmployeeBatch> successList = new ArrayList<>();
    List<EmployeeBatch> failList = new ArrayList<>();

    for (EmployeeBatch employee : employeeBatchList) {
        try {
            // Spring Data JPA的save方法默认自带事务，单条保存失败不影响其他数据
            employeeRepositoryBatch.save(employee);
            successList.add(employee);
        } catch (Exception e) {
            failList.add(employee);
            System.err.println("插入员工失败：" + employee.getId() + "，异常信息：" + e.getMessage());
        }
    }
    return new BatchResult(successList, failList);
}

// 自定义结果类，封装成功/失败数据
class BatchResult {
    private List<EmployeeBatch> successList;
    private List<EmployeeBatch> failList;

    public BatchResult(List<EmployeeBatch> successList, List<EmployeeBatch> failList) {
        this.successList = successList;
        this.failList = failList;
    }

    // getter方法
    public List<EmployeeBatch> getSuccessList() { return successList; }
    public List<EmployeeBatch> getFailList() { return failList; }
}

方式二：小批次拆分+出错后单条排查（兼顾性能与错误定位）

这种方式既保留批量插入的性能优势，又能在批次出错时精准定位错误数据：

// 方法上不要添加全局@Transactional
public BatchResult addEmployeesInBatch() {
    System.out.println("------------------Batch inserts starts ---------------------");
    List<EmployeeBatch> employeeBatchList = getEmployeesForBatchNew();
    List<EmployeeBatch> successList = new ArrayList<>();
    List<EmployeeBatch> failList = new ArrayList<>();
    int batchSize = 20; // 与你配置的Hibernate batch_size保持一致

    // 将大列表拆分为小批次
    List<List<EmployeeBatch>> batches = Lists.partition(employeeBatchList, batchSize);
    for (List<EmployeeBatch> batch : batches) {
        try {
            // 小批次单独执行事务保存
            saveBatchInTransaction(batch);
            successList.addAll(batch);
        } catch (Exception e) {
            // 批次出错时，拆分单条排查错误数据
            for (EmployeeBatch employee : batch) {
                try {
                    employeeRepositoryBatch.save(employee);
                    successList.add(employee);
                } catch (Exception ex) {
                    failList.add(employee);
                    System.err.println("插入员工失败：" + employee.getId() + "，异常信息：" + ex.getMessage());
                }
            }
        }
    }
    return new BatchResult(successList, failList);
}

// 单独的事务方法，用于小批量保存
@Transactional(rollbackFor = Exception.class)
private void saveBatchInTransaction(List<EmployeeBatch> batch) {
    employeeRepositoryBatch.saveAll(batch);
}

3. 保留原有Hibernate批量配置 #

你之前配置的属性可以继续保留，在小批次处理时依然能发挥批量插入的性能优化作用：

spring.jpa.properties.hibernate.order_inserts=true
spring.jpa.properties.hibernate.jdbc.batch_size=20

关键说明 #

• 原代码无效的原因：saveAll会将所有数据加入Hibernate持久化上下文，事务提交时统一执行批量插入，一旦某条数据出错，整个事务会回滚，导致没有数据写入数据库。
• 单条处理的优势是错误定位直接，缺点是性能略低；小批次处理兼顾性能和错误排查，适合数据量较大的场景。
• 确保Spring Data JPA的Repository处于事务环境中（默认已配置，无需额外操作）。

内容的提问来源于stack exchange，提问作者astar