如何在Spring Data与SQLite中实现批量插入？

问题背景 #

使用Spring Data JPA和Hibernate对SQLite执行批量插入时，遇到以下矛盾：

• Hibernate的批量插入仅支持SEQUENCE主键生成策略，但SQLite原生不支持SEQUENCE
• 使用IDENTITY策略（对应SQLite的AUTOINCREMENT）虽能正常插入数据，但无法启用Hibernate的批量插入功能
• 尝试复用SQLite系统表sqlite_sequence配合@SequenceGenerator或@TableGenerator时，Hibernate会尝试创建该系统表，触发SQLite权限错误

可行解决方案 #

方案1：配置TABLE生成策略并禁用Hibernate自动建表 #

SQLite的sqlite_sequence系统表结构正好符合@TableGenerator的需求，只需阻止Hibernate尝试创建该表即可：

1. 修改Hibernate配置，关闭自动建表或设为校验模式：

spring.jpa.hibernate.ddl-auto=validate
# 或者直接关闭：spring.jpa.hibernate.ddl-auto=none

2. 调整实体类的主键生成注解：

@Id
@GeneratedValue(strategy = GenerationType.TABLE, generator = "sqlite_generator")
@TableGenerator(
    name = "sqlite_generator",
    table = "sqlite_sequence",
    pkColumnName = "name",
    valueColumnName = "seq",
    pkColumnValue = "party", // 对应你的表名party
    allocationSize = 50, // 建议设大于1的数值，提升批量插入效率
    initialValue = 1
)
@Column(name = "party_id", nullable = false)
private Long id;

注意：allocationSize设为50可以减少对sqlite_sequence的查询次数，批量插入时Hibernate会一次性预分配50个主键值，提升性能。

方案2：手动管理主键值（业务场景允许时） #

如果业务上可以自主控制主键生成，完全绕开Hibernate的主键生成策略，就能正常启用批量插入：

1. 先查询sqlite_sequence获取当前表的最大主键值：

SELECT seq FROM sqlite_sequence WHERE name = 'party';

2. 手动为待插入的实体分配递增的id值，然后调用Spring Data JPA的批量保存方法：

// 示例代码
List<PartyEntity> parties = new ArrayList<>();
long currentMaxId = // 从sqlite_sequence查询得到的seq值
for (int i = 0; i < batchSize; i++) {
    PartyEntity party = new PartyEntity();
    party.setId(currentMaxId + 1 + i);
    party.setName("Party_" + i);
    parties.add(party);
}
partyRepository.saveAll(parties);

注意：高并发场景下需要通过事务或加锁避免主键冲突，确保主键分配的唯一性。

方案3：升级到Hibernate 6.x版本 #

Hibernate 6.0及以上版本对IDENTITY类型的批量插入做了优化，部分数据库（包括SQLite）可以在IDENTITY策略下启用批量插入，只需添加以下配置：

spring.jpa.properties.hibernate.jdbc.batch_size=50
spring.jpa.properties.hibernate.order_inserts=true
spring.jpa.properties.hibernate.order_updates=true
spring.jpa.properties.hibernate.batch_versioned_data=true

验证：升级后保持原IDENTITY策略，配置上述批量参数即可触发批量插入。

相关代码参考 #

原实体类（IDENTITY策略） #

@Entity
@Table(name = "party")
public class PartyEntity implements Serializable {

    @Id
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    @Column(name = "party_id", nullable = false)
    private Long id;

    @Column(name = "party_name", unique = true)
    @NonNull
    private String name;

    @Column(name = "party_phone_number", unique = true)
    private Long number;

    // 构造器、getter/setter省略
}

表结构DDL #

CREATE TABLE party (
    party_id              INTEGER       PRIMARY KEY ASC AUTOINCREMENT,
    party_name            VARCHAR (256) UNIQUE
                                        NOT NULL,
    party_phone_number    INTEGER (10)  UNIQUE
);

内容的提问来源于stack exchange，提问作者Yash garg