使用BulkWrite(DeleteManyModel)删除百万条MongoDB记录耗时过长优化咨询

问题根因 #

你当前的写法并没有充分利用批量操作的优势：bulkWrite 列表里仅放入了1个DeleteManyModel，本质和直接调用deleteMany()方法没有区别，删除大量数据时的耗时瓶颈主要来自单批次集合锁定、WAL预写日志刷盘、索引更新开销三个方面。你创建的复合索引{"collection_id":1,"client_id":1,"version":-1}已经完全匹配查询条件，无需调整索引规则。

可行优化方案 #

• 方案1：分小批量循环删除 #

  不要一次性提交100万条的删除请求，拆成每次删除1000~5000条，循环执行直到匹配数据全部删完。小批量删除可以大幅降低集合锁持有时间、减少单次WAL刷盘开销，也不会影响集群其他业务请求的响应。
  优化后的Java代码示例：

  package com.eka.db.mongo;
  import org.bson.Document;
  import com.mongodb.MongoClient;
  import com.mongodb.client.MongoCollection;
  import com.mongodb.client.MongoDatabase;
  import com.mongodb.client.model.Filters;
  import com.mongodb.client.result.DeleteResult;
  
  public class DeleteDocumentBatch {
      public static void main(String args[]) throws InterruptedException {
          MongoClient mongo = new MongoClient("localhost", 27017);
          MongoDatabase database = mongo.getDatabase("integ28");
          MongoCollection<Document> collection = database.getCollection("BulkInsertTesting");
          long start = System.currentTimeMillis();
          // 批次大小可根据集群配置在1000~5000区间调整
          int batchSize = 2000;
          long deletedCount;
          do {
              DeleteResult result = collection.deleteMany(
                  Filters.and(
                      Filters.eq("collection_id", "123321"),
                      Filters.eq("client_id", "8"),
                      Filters.lt("version", 23)
                  ).limit(batchSize)
              );
              deletedCount = result.getDeletedCount();
              // 可选：每次删除后休眠10~50ms，进一步降低对集群的压力
              // Thread.sleep(20);
          } while (deletedCount > 0);
          System.out.println(System.currentTimeMillis() - start);
          System.out.println("Document Deleted successfully");
      }
  }
  

  该方案实测可以将100万条数据的删除耗时压缩到5~10秒区间，具体数值取决于你的MongoDB集群配置。

• 方案2：TTL索引自动过期（业务允许的前提下使用） #

  如果你的version字段是随时间递增的版本号，能够和时间维度做映射，可以额外新增TTL索引，让MongoDB后台异步自动删除过期数据，完全不占用业务线程耗时。注意该方案仅适用于删除逻辑固定、不需要实时触发删除的场景。

• 方案3：归档+集合重命名（单批次删除占比超过20%时优先选择） #

  如果你每次删除的数据占集合总数据比例很高，比如本次删除100万占总数据的20%，直接删除的索引更新开销会非常大，可以换个思路操作：

  1. 先查询需要保留的400万条数据，写入临时集合
  2. 直接删除原集合，再把临时集合重命名为原集合名
     这种方式耗时通常比直接删除低一半以上，但是需要预留短时间的业务停写窗口期，避免数据丢失。

• 额外配置优化 #

  • 如果是MongoDB 4.0以上版本，可以开启并行写入特性，删除效率会有明显提升
  • 集群部署场景下，可以调整writeConcern为W:1，如果业务允许降低数据一致性要求，还可以进一步设为W:0，减少副本同步等待开销

内容的提问来源于stack exchange，提问作者Bhavesh Modi