如何在Spring Boot中使用MongoRepository saveAll()避免重复插入？

1. 数据库层面加唯一索引（最稳妥） #

直接在MongoDB里给判断文档唯一性的字段加唯一索引，从根源阻止重复插入。在Spring Data MongoDB中，可通过实体类注解实现：

假设你的实体类名为Car，把用来判定重复的字段组合（比如make+model+year）加上复合唯一索引：

import org.springframework.data.mongodb.core.index.CompoundIndex;
import org.springframework.data.mongodb.core.index.CompoundIndexes;
import org.springframework.data.mongodb.core.mapping.Document;

@Document(collection = "cars")
@CompoundIndexes({
    @CompoundIndex(name = "make_model_year_unique", unique = true, def = "{'make': 1, 'model': 1, 'year': 1}")
})
public class Car {
    private String model;
    private String make;
    private String year;
    private String color;
    private String condition;

    // getters、setters、构造方法
}

当你调用saveAll()时，如果存在重复的文档（make+model+year组合相同），MongoDB会抛出DuplicateKeyException，你可以捕获该异常并处理：

try {
    carRepository.saveAll(carsToInsert);
} catch (DuplicateKeyException e) {
    // 处理重复逻辑，比如打印日志提示
    log.warn("批量插入遇到重复文档，已自动跳过重复条目", e);
}

这种方式无需自己编写查询逻辑，数据库层面保证唯一性，性能和可靠性都最优。

2. 批量预查询过滤重复项 #

如果不想依赖数据库索引，或者需要自定义过滤逻辑，可以先批量查询已存在的文档，过滤后再执行插入：

// 1. 待插入的文档列表
List<Car> carsToInsert = // 你的待插入数据

// 2. 提取待插入文档的唯一标识组合，存入集合
Set<String> targetUniqueKeys = carsToInsert.stream()
    .map(car -> String.join("_", car.getMake(), car.getModel(), car.getYear()))
    .collect(Collectors.toSet());

// 3. 批量查询数据库中已存在的对应标识文档
Query query = new Query(Criteria.where("make").in(carsToInsert.stream().map(Car::getMake).toList())
    .and("model").in(carsToInsert.stream().map(Car::getModel).toList())
    .and("year").in(carsToInsert.stream().map(Car::getYear).toList()));
List<Car> existingCars = mongoTemplate.find(query, Car.class);

// 4. 把已存在的标识存入Set，方便快速判断
Set<String> existingUniqueKeys = existingCars.stream()
    .map(car -> String.join("_", car.getMake(), car.getModel(), car.getYear()))
    .collect(Collectors.toSet());

// 5. 过滤掉已存在的文档，只保留新文档
List<Car> newCars = carsToInsert.stream()
    .filter(car -> !existingUniqueKeys.contains(String.join("_", car.getMake(), car.getModel(), car.getYear())))
    .collect(Collectors.toList());

// 6. 批量插入过滤后的新文档
if (!newCars.isEmpty()) {
    carRepository.saveAll(newCars);
}

注意：这种方法存在竞态条件——如果在查询和插入之间，其他线程插入了相同文档，仍可能出现重复，可靠性不如唯一索引方案。

3. 使用MongoTemplate批量操作实现仅插入新文档 #

通过MongoTemplate的bulkOps()方法配合唯一索引，实现批量插入时自动忽略重复项：

List<InsertOneModel<Car>> insertModels = carsToInsert.stream()
    .map(InsertOneModel::new)
    .collect(Collectors.toList());

BulkOperations bulkOps = mongoTemplate.bulkOps(BulkOperations.BulkMode.UNORDERED, Car.class);
bulkOps.insert(insertModels);

try {
    bulkOps.execute();
} catch (MongoBulkWriteException e) {
    // 批量写入异常，可提取重复条目信息做处理
    e.getWriteErrors().forEach(error -> 
        log.warn("插入失败：错误码{}，原因{}", error.getCode(), error.getMessage())
    );
}

使用UNORDERED模式时，单个文档插入失败不会影响其他文档的插入，适合批量场景。

内容的提问来源于stack exchange，提问作者joe