Jpa Repository SaveAll批量插入过慢，求优化方案

1. 补全Hibernate批量插入的关键配置 #

你目前只配置了batch_size，但Hibernate要真正实现批量插入还需要补充以下配置，否则saveAll本质还是逐条执行：

spring:
  jpa:
    hibernate:
      naming:
        physical-strategy: org.hibernate.boot.model.naming.PhysicalNamingStrategyStandardImpl
      jdbc:
        batch_size: 1000
      order_inserts: true  # 强制Hibernate对同表插入语句排序，确保批量执行逻辑生效
      order_updates: true
    properties:
      hibernate:
        jdbc:
          batch_versioned_data: true  # 实体带有@Version乐观锁字段时必须添加，否则批量插入会失效
        flush_mode: COMMIT  # 关闭自动刷新会话，仅在事务提交时统一刷新
        cache:
          use_second_level_cache: false  # 批量插入场景不需要二级缓存，直接关闭减少开销

2. 开启MySQL驱动的批量语句重写（MySQL专属） #

这是MySQL批量插入提速的核心开关，JDBC URL必须添加rewriteBatchedStatements=true，否则驱动会把批量插入拆成单条SQL执行：

spring:
  datasource:
    url: jdbc:mysql://localhost:3306/your_db?useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true

3. 用Spring Batch原生JpaItemWriter替代手动saveAll #

JpaRepository.saveAll会额外做实体状态检查（判断是新增还是更新），而JpaItemWriter是Spring Batch专为批量处理设计的组件，能更好地配合Hibernate的批量机制：

@Configuration
public class BatchConfig {
    @Bean
    public JpaItemWriter<ExampleEntity> jpaItemWriter(EntityManagerFactory entityManagerFactory) {
        JpaItemWriter<ExampleEntity> writer = new JpaItemWriter<>();
        writer.setEntityManagerFactory(entityManagerFactory);
        return writer;
    }

    // 在Step中配置该Writer，chunk size需和hibernate.batch_size保持一致
    @Bean
    public Step exampleStep(StepBuilderFactory stepBuilderFactory,
                            ItemReader<YourDataDto> reader,
                            ItemProcessor<YourDataDto, ExampleEntity> processor,
                            JpaItemWriter<ExampleEntity> writer) {
        return stepBuilderFactory.get("exampleStep")
                .<YourDataDto, ExampleEntity>chunk(1000)  // 和batch_size匹配
                .reader(reader)
                .processor(processor)
                .writer(writer)
                .build();
    }
}

4. 用原生SQL批量插入替代JPA（极端场景） #

如果所有数据都是新增状态，完全可以跳过JPA的ORM层，直接用原生SQL批量插入，这是效率提升最明显的方式：

@Repository
public interface ExampleRepository extends JpaRepository<ExampleEntity, Integer> {
    @Modifying
    @Query(value = "INSERT INTO example_table (col1, col2, col3) VALUES (:col1s, :col2s, :col3s)", 
           nativeQuery = true)
    void batchInsert(@Param("col1s") List<String> col1s,
                     @Param("col2s") List<String> col2s,
                     @Param("col3s") List<Integer> col3s);
}

注意：需根据数据库参数限制调整批次大小，比如MySQL单条SQL最多支持65535个参数，若每个实体有3个字段，批次大小不要超过21845（65535/3）。

5. 数据库层面的临时优化 #

• 临时关闭非主键索引：批量插入前关闭目标表的非主键索引，插入完成后重建，能大幅减少插入时的索引维护开销。
• 关闭外键约束：如果业务允许，批量插入期间关闭外键检查，完成后再重新开启。
• 调整连接池大小：增大连接池最大数，比如HikariCP的maximum-pool-size设为20-30，避免因连接不足导致等待。

6. 实体主键策略优化 #

如果实体使用IDENTITY主键生成策略（比如MySQL的AUTO_INCREMENT），Hibernate无法真正实现批量插入（因为需要先获取主键值），建议改成SEQUENCE或TABLE策略；若必须使用AUTO_INCREMENT，一定要确保开启了rewriteBatchedStatements=true，MySQL驱动会优化批量插入逻辑。

内容的提问来源于stack exchange，提问作者Parker Harrelson