Quarkus大数据库操作：如何强制事务使用多数据库连接？

首先明确核心规则：单个数据库事务只能绑定一个数据库连接，这是由事务的原子性（ACID特性）决定的——所有操作必须在同一个连接中执行，才能保证要么全部成功要么全部回滚。你需要的不是让单个事务用多连接，而是拆分数据为多个独立小事务，并行执行这些事务，让每个事务从连接池获取独立连接，以此提升批量插入效率。

一、解决步骤与实现代码 #

1. 拆分批次+独立事务 #

将百万条数据拆分为多个小批次，每个批次在独立事务中执行，通过@Transactional(REQUIRES_NEW)强制开启新事务，确保每个批次使用连接池的不同连接。

@ApplicationScoped
public class BulkInsertService {

    @Inject
    EntityManager em;

    /**
     * 单批次插入，开启独立事务
     */
    @Transactional(Transactional.TxType.REQUIRES_NEW)
    public void processSingleBatch(List<YourEntity> batch) {
        // 批量持久化，避免逐行flush
        batch.forEach(YourEntity::persist);
        // 手动flush提交当前批次SQL，清理一级缓存防止内存溢出
        em.flush();
        em.clear();
    }

    /**
     * 并行处理所有批次
     */
    public void executeBulkInsert(List<YourEntity> allData) {
        int batchSize = 1000; // 根据内存和数据库性能调整，建议1000-5000
        List<List<YourEntity>> batches = Lists.partition(allData, batchSize);

        // 用虚拟线程池并行执行，并发数不超过连接池max-size（你的配置是12）
        try (ExecutorService executor = Executors.newVirtualThreadPerTaskExecutor()) {
            batches.stream()
                   .map(batch -> executor.submit(() -> processSingleBatch(batch)))
                   .forEach(future -> {
                       try {
                           future.get();
                       } catch (InterruptedException | ExecutionException e) {
                           throw new RuntimeException("批次插入失败", e);
                       }
                   });
        }
    }
}

2. 修复Hibernate批量配置无效问题 #

你之前配置的batch-size未生效，需要补充完整的批量插入参数，在application.properties中添加：

# Hibernate批量插入核心配置
quarkus.hibernate-orm.jdbc.batch-size=1000
quarkus.hibernate-orm.order_inserts=true
quarkus.hibernate-orm.order_updates=true
quarkus.hibernate-orm.jdbc.batch-versioned-data=true

• order_inserts：让Hibernate将同表的插入语句排序，确保批量SQL能被数据库正确执行
• batch-size：设置单次批量提交的SQL数量
• batch-versioned-data：适配带乐观锁字段的实体批量操作

3. 调整主键生成策略 #

如果你的实体使用IDENTITY自增主键（@GeneratedValue(strategy = GenerationType.IDENTITY)），Hibernate无法执行批量插入——因为每次插入都需要立即获取自增ID，会强制单条执行SQL。需改用序列生成策略：

@Entity
public class YourEntity extends PanacheEntityBase {
    @Id
    @GeneratedValue(strategy = GenerationType.SEQUENCE, generator = "your_entity_seq")
    @SequenceGenerator(
        name = "your_entity_seq",
        sequenceName = "your_entity_seq",
        allocationSize = 1000 // 与batch-size保持一致，减少序列查询次数
    )
    public Long id;

    // 其他字段
}

二、关键注意事项 #

• 并发数不要超过连接池max-size：你的配置是12，所以并行执行的批次数量不要超过12，避免连接池耗尽导致等待
• 监控数据库连接状态：可以通过Quarkus Dev UI的数据源面板查看连接使用情况，确认多连接是否被正确利用
• 内存控制：拆分批次时要避免单批次数据过大导致OOM，建议根据JVM内存调整batch-size

内容的提问来源于stack exchange，提问作者JaB