异步场景下JPA重复记录问题的解决方案咨询

核心原因 #

多线程异步场景下，findByNameAndDate和后续的save/saveAll是两个独立操作，无法保证原子性。当多个线程同时处理同一条Name+Date的记录时，都会先查询到“记录不存在”，随后各自执行插入操作，最终导致重复数据。JPA的flush或saveAllAndFlush只是强制将缓存数据同步到数据库，无法解决并发竞态问题。

具体解决方案 #

1. 数据库层面添加唯一约束（最可靠的兜底方案） #

直接在表A的Name和Date字段上添加联合唯一约束，从数据库层面彻底杜绝重复数据。

• 用SQL创建约束：

  ALTER TABLE table_a ADD CONSTRAINT uk_name_date UNIQUE (name, date_column);
  

• 或者在JPA实体类上通过注解配置：

  @Entity
  @Table(name = "table_a", uniqueConstraints = {@UniqueConstraint(columnNames = {"name", "date_column"})})
  public class A {
      // 其他字段
      @Column(name = "name")
      private String name;
  
      @Column(name = "date_column")
      private LocalDate date;
  
      // getter、setter
  }
  

添加约束后，当重复插入时数据库会抛出SQLIntegrityConstraintViolationException，业务代码中可以捕获该异常，然后执行更新操作即可。

2. 实现原子性的"查询-插入/更新"操作 #

避免在业务代码中分开执行查询和写入，改用数据库层面的原子操作：

• 使用JPA的@Query配合INSERT ... ON DUPLICATE KEY UPDATE（MySQL）或UPSERT（PostgreSQL）语法，直接在数据库层面完成原子的新增或更新：

  @Repository
  public interface ARepository extends JpaRepository<A, Long> {
      @Modifying
      @Query(value = "INSERT INTO table_a (name, date_column, other_field) VALUES (:name, :date, :otherField) " +
              "ON DUPLICATE KEY UPDATE other_field = :otherField", nativeQuery = true)
      void upsertByNameAndDate(@Param("name") String name, @Param("date") LocalDate date, @Param("otherField") String otherField);
  }
  

这种方式把判断和写入合并成一个原子操作，从根本上消除竞态条件。

3. 业务层添加分布式锁（适用于多实例部署场景） #

如果是多服务实例部署，单JVM的锁无法生效，需要引入分布式锁（比如Redis锁、ZooKeeper锁）：

• 针对每条记录的Name+Date生成唯一的锁键，比如lock:a:name:{name}:date:{date}
• 处理前先获取锁，获取成功后再执行查询和写入操作，操作完成后释放锁：

  // 伪代码示例
  String lockKey = String.format("lock:a:name:%s:date:%s", record.getName(), record.getDate());
  try {
      if (redisLock.tryLock(lockKey, 5, TimeUnit.SECONDS)) {
          // 执行查询-插入/更新逻辑
          A existing = aRepository.findByNameAndDate(record.getName(), record.getDate());
          if (existing != null) {
              existing.setOtherField(record.getOtherField());
              aRepository.save(existing);
          } else {
              aRepository.save(record);
          }
      } else {
          // 处理获取锁失败的情况，比如重试或跳过
          log.warn("Failed to acquire lock for record: {}", record);
      }
  } finally {
      redisLock.unlock(lockKey);
  }
  

注意要设置合理的锁超时时间，避免死锁。

4. 单JVM场景下使用本地锁 #

如果是单实例部署，可以针对Name+Date的组合使用本地锁（比如用ConcurrentHashMap维护锁对象）：

private final ConcurrentHashMap<String, Object> locks = new ConcurrentHashMap<>();

// 处理记录的方法
public void processRecord(A record) {
    String lockKey = record.getName() + "_" + record.getDate();
    Object lock = locks.computeIfAbsent(lockKey, k -> new Object());
    synchronized (lock) {
        // 执行查询-插入/更新逻辑
        A existing = aRepository.findByNameAndDate(record.getName(), record.getDate());
        if (existing != null) {
            existing.setOtherField(record.getOtherField());
            aRepository.save(existing);
        } else {
            aRepository.save(record);
        }
    }
}

这种方式确保同一Name+Date的记录同一时间只有一个线程在处理，避免竞态。

总结 #

推荐优先使用数据库唯一约束+原子UPSERT操作的组合，这是最可靠且性能损耗较低的方案。如果是多实例场景，再配合分布式锁进一步保障并发安全。

内容的提问来源于stack exchange，提问作者Thomson Ignesious