Spring Boot+MongoDB聚合查询遇大数据量致服务崩溃的优化咨询

DB端优化 #

• 优化复合索引：针对查询的过滤条件和分组维度创建复合索引，确保$match和$group阶段都能命中索引。执行以下命令创建索引：

  db.yourCollection.createIndex({ spaceId: 1, createTime: -1, status: 1 })
  

  这里spaceId是精准过滤条件，createTime用于时间范围筛选，status用于分组统计，顺序遵循“过滤字段在前，排序/分组字段在后”的原则。
• 精简聚合管道逻辑：调整聚合阶段顺序，先执行$match过滤数据（只保留目标spaceId和近12个月的记录），再用$project裁剪掉不需要的字段（比如只保留createTime、status），最后执行$group统计。这样能大幅减少后续阶段处理的数据量。
• 开启磁盘辅助聚合：当聚合涉及大量数据时，MongoDB默认内存不足会报错，可在聚合命令中设置allowDiskUse: true，允许使用磁盘临时存储中间结果。
• 数据分片（可选）：如果该集合数据量持续增长（比如超过千万级），可按spaceId字段分片，将数据分散到多个节点，降低单节点查询压力。

代码端优化 #

• 调整聚合管道逻辑，优化执行顺序（Spring Boot + MongoTemplate示例）：

  public Map<String, Map<String, Long>> findGroupedData(String spaceId) {
      // 计算近12个月的起始时间
      LocalDateTime twelveMonthsAgo = LocalDateTime.now().minusMonths(12);
      Date startTime = Date.from(twelveMonthsAgo.atZone(ZoneId.systemDefault()).toInstant());
  
      // 1. 过滤目标spaceId和近12个月的记录
      MatchOperation match = Aggregation.match(Criteria.where("spaceId").is(spaceId)
              .and("createTime").gte(startTime));
  
      // 2. 裁剪字段，只保留统计需要的内容
      ProjectionOperation project = Aggregation.project("status")
              .and(DateOperators.DateToString.dateOf("createTime").toString("%Y-%m")).as("month");
  
      // 3. 按月份+status分组计数
      GroupOperation group = Aggregation.group("month", "status").count().as("count");
  
      // 4. 整理结果格式
      ProjectionOperation finalProject = Aggregation.project("count")
              .and("_id.month").as("month")
              .and("_id.status").as("status");
  
      // 构建聚合管道，开启磁盘辅助
      Aggregation aggregation = Aggregation.newAggregation(match, project, group, finalProject)
              .withOptions(AggregationOptions.builder().allowDiskUse(true).build());
  
      AggregationResults<MonthStatusCount> results = mongoTemplate.aggregate(aggregation, "yourCollection", MonthStatusCount.class);
  
      // 转换为业务需要的Map结构
      Map<String, Map<String, Long>> resultMap = new HashMap<>();
      for (MonthStatusCount count : results) {
          resultMap.computeIfAbsent(count.getMonth(), k -> new HashMap<>())
                  .put(count.getStatus(), count.getCount());
      }
      return resultMap;
  }
  
  // 辅助DTO类，用于接收聚合结果
  static class MonthStatusCount {
      private String month;
      private String status;
      private Long count;
  
      // getter、setter省略
  }
  

• 避免一次性加载全部结果：如果聚合结果仍较大，不要直接转换成List，改用迭代器遍历results.iterator()，逐行处理结果，减少JVM堆内存占用。
• 异步化统计接口：如果该统计接口是同步接口，可改成异步处理，避免阻塞Tomcat线程池，示例：

  @Async
  public CompletableFuture<Map<String, Map<String, Long>>> findGroupedDataAsync(String spaceId) {
      return CompletableFuture.completedFuture(findGroupedData(spaceId));
  }
  

• 连接池与内存监控：调整MongoDB连接池大小（在application.yml中设置spring.data.mongodb.max-connection-pool-size），确保有足够连接的同时避免资源浪费；借助Spring Boot Actuator监控应用内存状态，提前预警OOM风险。

内容的提问来源于stack exchange，提问作者Shruti sharma