JPA saveAll()批量更新生成N条Select语句的性能优化求助

问题根源 #

核心问题是非自增ID的实体调用saveAll()时，isNew()始终返回false，导致JPA默认执行merge()操作——而merge会先查询数据库中是否存在该ID的记录，产生大量额外Select语句，直接拖慢性能。

解决方案 #

1. 自定义isNew()判断逻辑（推荐） #

Spring Data JPA允许通过实现Persistable接口，自定义实体是否为"新记录"的判断规则，替代默认的"ID非空即非新"逻辑。

修改Record实体类：

@Entity
@Table(name = "RECORDS")
@Data
@NoArgsConstructor
@AllArgsConstructor
@Builder
public class Record implements Persistable<String> { // 实现Persistable接口，泛型为ID类型

    @Id
    @Column(name = "RECORD_NUMBER")
    private String recordNumber;

    @Column(name = "SYS_ID")
    private String sysId;

    @Column(name = "STATE")
    private String state;

    @Column(name = "PRIORITY")
    private String priority;

    @Transient // 该字段不映射到数据库
    private boolean isNewRecord;

    @Override
    public String getId() {
        return this.recordNumber;
    }

    @Override
    public boolean isNew() {
        return isNewRecord; // 自定义判断逻辑
    }

    // 给Builder添加链式方法，方便设置新记录标记
    public static class RecordBuilder {
        public RecordBuilder isNew(boolean isNew) {
            this.isNewRecord = isNew;
            return this;
        }
    }
}

业务代码中批量标记记录状态：

@Override
@Transactional
public void persistRecords(List<Record> records) {
    // 先批量查询所有已存在的ID，仅1条Select语句
    List<String> existingIds = recordsRepository.findAllById(
            records.stream().map(Record::getRecordNumber).collect(Collectors.toList())
    );
    
    records.forEach(record -> {
        record.setIsNewRecord(!existingIds.contains(record.getRecordNumber()));
    });
    recordsRepository.saveAll(records);
}

2. 使用原生SQL Upsert（性能最优） #

如果你的数据库支持Upsert（如MySQL的INSERT ... ON DUPLICATE KEY UPDATE、PostgreSQL的INSERT ... ON CONFLICT DO UPDATE），直接用原生批量Upsert可完全避免多余Select，性能最佳。

MySQL示例：

在Repository中定义自定义批量操作方法：

public interface RecordRepository extends JpaRepository<Record, String> {

    @Modifying
    @Transactional
    @Query(value = "INSERT INTO RECORDS (RECORD_NUMBER, SYS_ID, STATE, PRIORITY) " +
            "VALUES (:recordNumber, :sysId, :state, :priority) " +
            "ON DUPLICATE KEY UPDATE " +
            "SYS_ID = VALUES(SYS_ID), " +
            "STATE = VALUES(STATE), " +
            "PRIORITY = VALUES(PRIORITY)",
            nativeQuery = true)
    void bulkUpsert(@Param("recordNumber") String recordNumber,
                    @Param("sysId") String sysId,
                    @Param("state") String state,
                    @Param("priority") String priority);
}

业务代码中批量执行：

@Override
@Transactional
public void persistRecords(List<Record> records) {
    records.forEach(record -> {
        recordRepository.bulkUpsert(
                record.getRecordNumber(),
                record.getSysId(),
                record.getState(),
                record.getPriority()
        );
    });
}

3. 手动用EntityManager控制持久化 #

绕过Spring Data JPA的save()方法，直接通过EntityManager分别执行persist()和merge()，仅需1次批量查询判断记录是否存在：

@Autowired
private EntityManager em;

@Override
@Transactional
public void persistRecords(List<Record> records) {
    List<String> existingIds = recordsRepository.findAllById(
            records.stream().map(Record::getRecordNumber).collect(Collectors.toList())
    );

    for (Record record : records) {
        if (existingIds.contains(record.getRecordNumber())) {
            em.merge(record);
        } else {
            em.persist(record);
        }
    }
}

额外优化：开启JPA批量配置 #

无论采用哪种方案，都建议在配置文件中开启Hibernate批量执行设置，进一步提升性能：

# 设置批量执行大小
spring.jpa.properties.hibernate.jdbc.batch_size=50
# 支持版本化数据的批量操作
spring.jpa.properties.hibernate.jdbc.batch_versioned_data=true
# 延迟刷新，避免提前执行SQL
spring.jpa.properties.hibernate.flush.mode=COMMIT

内容的提问来源于stack exchange，提问作者Rafał Sokalski