Spring Data批量插入PostgreSQL时部分数据丢失问题求助

核心问题 #

批量保存77832个Faction实体时，仅49207条存入数据库，无报错，传入集合确认无重复数据。

可能原因及排查步骤 #

1. 唯一约束静默冲突（最可能） #

Faction的name字段标注了unique=true，但以下情况可能导致冲突无报错：

• 数据库大小写不敏感：PostgreSQL默认排序规则（如en_US.UTF-8）对大小写不敏感，若传入的name存在大小写差异（如"ABC"和"abc"），会被判定为重复，但应用层未检测到。
• 约束未生效：检查表结构是否真的创建了唯一约束，执行SQL：

  SELECT conname FROM pg_constraint WHERE conrelid = 'faction'::regclass AND contype = 'u';
  

• 数据库日志未被捕获：查看PostgreSQL的postgresql.log，是否存在unique_violation错误（应用日志可能未输出底层数据库异常）。

2. 批量插入配置缺失 #

Spring Data JPA默认未开启高效批量插入，可能导致部分数据未提交：

• 添加Hibernate批量配置到application.yml/application.properties：

  spring.jpa.properties.hibernate.jdbc.batch_size=500
  spring.jpa.properties.hibernate.order_inserts=true
  spring.jpa.properties.hibernate.order_updates=true
  

• PostgreSQL驱动开启批量插入优化：

  spring.datasource.url=jdbc:postgresql://localhost:5432/your_db?rewriteBatchedInserts=true
  

3. 事务边界问题 #

若saveFactions方法未添加事务注解，部分插入失败时无法触发全局回滚或报错：

• 在方法上添加事务注解，确保异常被捕获：

  @Transactional(rollbackFor = Exception.class)
  public List<FactionDto> saveFactions(List<FactionDto> factionDtos) {
      // 原有逻辑
  }
  

4. 数据关联缺失 #

检查allegianceMap或governmentMap是否存在null值：

• 在peek逻辑中添加非空判断，避免因关联对象缺失导致静默失败：

  .peek(faction -> {
      var allegiance = allegianceMap.get(faction.getAllegiance().getName());
      if (allegiance == null) {
          throw new IllegalArgumentException("Allegiance not found: " + faction.getAllegiance().getName());
      }
      faction.setAllegiance(allegiance);
      var government = governmentMap.get(faction.getGovernment().getName());
      if (government == null) {
          throw new IllegalArgumentException("Government not found: " + faction.getGovernment().getName());
      }
      faction.setGovernment(government);
  })
  

5. 验证保存返回结果 #

在saveAll后打印返回集合的大小，确认框架实际执行的保存数量：

List<Faction> savedFactions = factionRepository.saveAll(factions);
System.out.println("实际保存的Faction数量：" + savedFactions.size());
return savedFactions.stream().map(factionMapper::toDto).toList();

代码优化建议 #

• 合并factionDtos的流处理逻辑，减少重复遍历带来的内存开销；
• 对government和allegiance的批量保存，可先查询已存在的记录，避免重复插入；
• 添加日志记录关键步骤的数量（如转换后的实体数、关联对象数），便于快速定位问题。

内容的提问来源于stack exchange，提问作者BANTYC