JPA批量插入PostgreSQL无性能提升问题排查求助

看起来你已经做了不少基础配置，但核心问题出在序列ID生成策略和Hibernate批量插入的实际执行逻辑上——这也是很多人用JPA批量插入时容易踩的坑。我来帮你拆解问题并给出具体的修复方案：

一、核心问题：序列ID生成拖垮了批量性能 #

你用@GeneratedValue(strategy = GenerationType.SEQUENCE)生成ID，但默认情况下Hibernate会为每个实体单独调用一次SELECT nextval()获取ID，这就导致插入16073条数据时，会产生16073次序列查询请求——这才是你耗时4分30秒的主要原因！

虽然你配置了rewriteBatchedInserts=true和Hibernate批量参数，但这些优化被频繁的序列查询完全抵消了，日志里的16073条JDBC语句大部分都是序列查询，而非插入语句。

二、针对性解决方案 #

1. 优化序列ID生成策略，批量获取ID #

给实体类的ID生成器加上批量分配配置，让Hibernate一次性获取一批ID（和你的batch_size一致），避免频繁查询序列：

@Entity
public class SecteurGeographique {
    private static final long serialVersionUID = 1L;

    @Id
    @GeneratedValue(strategy = GenerationType.SEQUENCE, generator = "secteur_seq")
    // 重点：设置allocationSize和你的batch_size一致，sequenceName要和数据库实际序列名匹配
    @SequenceGenerator(
        name = "secteur_seq",
        sequenceName = "secteur_geographique_id_seq", // 替换成你数据库中实际的序列名
        allocationSize = 100 // 和hibernate.jdbc.batch_size值保持一致
    )
    @Column(name = "id")
    public Long id;
    // 其他字段...
}

注意：如果数据库中已存在序列，需要确保序列的INCREMENT BY值和allocationSize一致，否则会出现ID冲突或重复获取的问题。

2. 补充Hibernate批量插入的关键配置 #

在application.properties中添加/确认以下配置：

# 启用新的ID生成器映射（Spring Boot 2.x默认是true，但保险起见显式配置）
spring.jpa.properties.hibernate.id.new_generator_mappings=true
# 确保批量版本数据处理（如果实体有@Version乐观锁字段的话）
spring.jpa.properties.hibernate.jdbc.batch_versioned_data=true

3. 简化代码逻辑，避免不必要的开销 #

你当前的代码用saveAll()+flush/clear的方式有点冗余，直接用EntityManager.persist()更高效（saveAll()会额外做实体状态检查，适合混合新增/更新的场景，纯新增用persist更直接）：

@Override
public List<SecteurGeographique> saveAllSecteurGeographiquesISOs(List<SecteurGeographique> listSecteurGeographiques) {
    logger.warn("BATCH SIZE : " + this.batchSize);
    final List<SecteurGeographique> savedList = new ArrayList<>();

    for (int i = 0; i < listSecteurGeographiques.size(); i++) {
        SecteurGeographique secteur = listSecteurGeographiques.get(i);
        entityManager.persist(secteur);
        savedList.add(secteur);

        // 每batchSize条执行一次flush+clear，释放内存
        if ((i + 1) % batchSize == 0) {
            entityManager.flush();
            entityManager.clear();
        }
    }

    // 处理剩余不足batchSize的记录
    if (!savedList.isEmpty() && (savedList.size() % batchSize != 0)) {
        entityManager.flush();
        entityManager.clear();
    }

    return savedList;
}

4. 验证批量插入是否真正生效 #

当配置完成后，你应该能看到：

• 日志中的SELECT nextval()语句数变成约161次（16073/100），而非16073次；
• INSERT语句数也是161次，每个语句是INSERT INTO ... VALUES (...), (...), ...的批量格式；
  如果暂时看不到数据库日志，可以通过开启Hibernate的SQL日志（spring.jpa.show-sql=true）来观察生成的SQL语句是否是批量形式。

三、额外性能优化建议 #

1. 调整PostgreSQL数据库参数：增大shared_buffers、work_mem、maintenance_work_mem等参数，提升数据库写入性能；
2. 禁用不必要的缓存：如果没用到Hibernate二级缓存，显式关闭spring.jpa.properties.hibernate.cache.use_second_level_cache=false；
3. 使用批量导入工具：如果数据量特别大（比如百万级），可以考虑跳过JPA，直接用PostgreSQL的COPY命令或Spring Batch实现更高效的批量导入。

内容的提问来源于stack exchange，提问作者johimi