Spring Data JPA批量插入的水平扩容问题（PostgreSQL环境）

方案1：正确配置PostgreSQL序列（推荐，性能最优） #

PostgreSQL原生支持SEQUENCE，此前出现主键冲突是因为未合理配置序列的分配区间策略。通过给每个节点预取不重叠的ID段，既能避免冲突，又能保留批量插入功能。

配置步骤： #

1. 实体类主键注解配置：

@Entity
public class YourEntity {
    @Id
    @GeneratedValue(strategy = GenerationType.SEQUENCE, generator = "your_entity_seq")
    @SequenceGenerator(
        name = "your_entity_seq",
        sequenceName = "your_entity_sequence", // 对应数据库序列名
        allocationSize = 50, // 每个节点预取50个ID，可根据并发量调整
        initialValue = 1
    )
    private Long id;

    // 其他字段与方法
}

2. 数据库手动创建序列（可选，Hibernate也会自动生成，手动创建更可控）：

CREATE SEQUENCE your_entity_sequence START 1 INCREMENT 50;

3. 开启Hibernate批量插入支持，在配置文件中添加：

spring.jpa.properties.hibernate.jdbc.batch_size=50
spring.jpa.properties.hibernate.order_inserts=true
spring.jpa.properties.hibernate.order_updates=true
spring.jpa.properties.hibernate.batch_versioned_data=true

注意：allocationSize需与hibernate.jdbc.batch_size保持一致，最大化批量插入性能。

方案2：使用UUID作为主键（最简单，无数据库依赖） #

UUID是全局唯一标识符，由客户端本地生成，完全避免集群节点间的主键冲突，且不影响Hibernate批量插入逻辑。

配置步骤： #

1. 实体类主键注解配置：

@Entity
public class YourEntity {
    @Id
    @GeneratedValue(strategy = GenerationType.UUID)
    private UUID id;

    // 其他字段与方法
}

2. 数据库对应字段设置为UUID类型：

CREATE TABLE your_entity (
    id UUID PRIMARY KEY,
    -- 其他字段
);

优点：实现简单、跨数据库兼容；缺点：UUID为字符串类型，索引性能略逊于数值型主键，占用存储空间更大。

方案3：使用TABLE生成器（兼容性最强，性能略低） #

若需兼容多种数据库，可通过数据库内的专门表管理主键生成，每个节点获取独立ID区间。但因需要锁表，性能不如SEQUENCE。

配置步骤： #

1. 实体类主键注解配置：

@Entity
public class YourEntity {
    @Id
    @GeneratedValue(strategy = GenerationType.TABLE, generator = "your_entity_table_gen")
    @TableGenerator(
        name = "your_entity_table_gen",
        table = "id_generator",
        pkColumnName = "entity_type",
        valueColumnName = "next_id",
        pkColumnValue = "your_entity",
        allocationSize = 50
    )
    private Long id;

    // 其他字段与方法
}

2. 手动创建主键生成表：

CREATE TABLE id_generator (
    entity_type VARCHAR(50) PRIMARY KEY,
    next_id BIGINT NOT NULL
);
INSERT INTO id_generator (entity_type, next_id) VALUES ('your_entity', 1);

关键注意事项 #

• 禁止使用GenerationType.IDENTITY：该策略依赖数据库自增主键，Hibernate会强制禁用批量插入（需先插入获取主键值，无法批量提交）。
• 批量插入时避免频繁调用em.flush()：会破坏批量提交逻辑，应积累到指定批量大小后统一提交。

内容的提问来源于stack exchange，提问作者Anant