文件导入数据库且主键非自增时，如何实现Hibernate批量插入？

问题根源 #

RepositoryItemWriter默认调用Spring Data JPA的save()方法，而由于你的实体主键account是非自动生成的，Hibernate无法通过主键是否为null判断实体是否为新数据，因此save()会先执行一条SELECT语句检查主键是否存在，之后才执行INSERT，这就导致了逐条操作而非批量插入。

解决方案 #

要实现真正的批量插入，需要跳过默认的存在性检查，直接执行批量插入操作，同时配置Hibernate的批量参数优化性能。

1. 配置Hibernate批量属性

首先在配置文件（application.properties或application.yml）中添加Hibernate批量相关配置：

# Hibernate批量插入配置
spring.jpa.properties.hibernate.jdbc.batch_size=50
spring.jpa.properties.hibernate.order_inserts=true
spring.jpa.properties.hibernate.order_updates=true
spring.jpa.properties.hibernate.jdbc.batch_versioned_data=true

• batch_size：设置每次批量操作的记录数，建议和Spring Batch的chunkSize保持一致
• order_inserts：让Hibernate将同类型的INSERT语句排序，确保批量执行的效率
• batch_versioned_data：处理带有版本字段的实体批量操作（你的实体没有版本字段，此配置也可保留）

2. 自定义ItemWriter（推荐方案）

放弃使用RepositoryItemWriter，直接通过EntityManager实现批量插入，避免默认的存在性检查：

@Bean
@StepScope
public ItemWriter<Transaction> batchTransactionWriter(EntityManagerFactory entityManagerFactory) {
    return items -> {
        EntityManager entityManager = entityManagerFactory.createEntityManager();
        EntityTransaction transaction = entityManager.getTransaction();
        try {
            transaction.begin();
            int batchSize = 50;
            for (int i = 0; i < items.size(); i++) {
                Transaction transactionEntity = items.get(i);
                // 使用persist直接插入，跳过存在性检查（确保文件中account均为新主键）
                entityManager.persist(transactionEntity);
                
                // 每达到batchSize或处理到最后一条时，flush并clear缓存，避免内存溢出
                if ((i + 1) % batchSize == 0 || i == items.size() - 1) {
                    entityManager.flush();
                    entityManager.clear();
                }
            }
            transaction.commit();
        } catch (Exception e) {
            if (transaction.isActive()) {
                transaction.rollback();
            }
            throw new RuntimeException("批量插入交易数据失败", e);
        } finally {
            entityManager.close();
        }
    };
}

• 这里使用persist()而非merge()，因为我们明确知道文件中的account是新主键，无需检查是否存在
• 定期flush()和clear()可以避免EntityManager缓存过多实体导致内存占用过高

3. 自定义Repository批量插入方法（备选方案）

如果希望继续使用Spring Data JPA Repository，可以自定义批量插入的native查询方法：
首先在TransactionRepository中添加方法：

public interface TransactionRepository extends JpaRepository<Transaction, String> {

    @Modifying
    @Query(value = "INSERT INTO TRANSACTION (ACCOUNT, AMOUNT, TIMESTAMP) VALUES (:account, :amount, :timestamp)", nativeQuery = true)
    void insertTransaction(@Param("account") String account, @Param("amount") BigDecimal amount, @Param("timestamp") Timestamp timestamp);
}

然后自定义ItemWriter调用该方法进行批量处理：

@Bean
@StepScope
public ItemWriter<Transaction> repositoryBatchWriter(TransactionRepository transactionRepository) {
    return items -> {
        int batchSize = 50;
        for (int i = 0; i < items.size(); i += batchSize) {
            int endIndex = Math.min(i + batchSize, items.size());
            List<Transaction> batch = items.subList(i, endIndex);
            batch.forEach(transaction -> transactionRepository.insertTransaction(
                    transaction.getAccount(),
                    transaction.getAmount(),
                    transaction.getTimestamp()
            ));
        }
    };
}

注意：这种方式依赖数据库的native语法，不同数据库可能需要调整，通用性不如EntityManager方案。

注意事项 #

• 如果文件中可能存在已存在的account主键，需要提前处理（比如跳过重复数据，或使用INSERT ... ON DUPLICATE KEY UPDATE（MySQL）、MERGE（Oracle）等语法处理冲突）
• 确保Spring Batch的chunkSize和Hibernate的batch_size保持一致，这样能最大化批量性能

内容的提问来源于stack exchange，提问作者Ramesh N