MongoDB聚合查询优化：消除重复$match并优化$project位置

问题概述 #

你当前的聚合查询通过两次重复的$match操作分别获取分页结果和总条数，存在冗余扫描问题；同时需要确定$project的最优位置，以在10k条200KB原文档（投影后2KB）的场景下减少内存占用、降低延迟。

原冗余查询：

{
  "$facet": {
    "results": [
      {
        "$match": {
          "$expr": {
            "$and": [{ "$gte": ["$var1", 1] }, { "$gte": ["$var2", 200] }]
          }
        }
      },
      { "$sort": { "var1": 1 } },
      { "$skip": 0 },
      { "$limit": 25 },
      {
        "$project": {
          "va1": "$va1",
          "var2": "$var2",
          "var3": "$var3"
        }
      }
    ],
    "total": [
      {
        "$match": {
          "$expr": {
            "$and": [{ "$gte": ["$var1", 1] }, { "$gte": ["$var1", 200] }]
          }
        }
      },
      { "$count": "count" }
    ]
  }
}

你尝试的合并方案未生效：

{
  "$facet": {
    "results": [{"$match": searchString},
                {"$sort": sort},
                {"$count": "total"},
                {"$skip": skip},
                {"$limit": limit},
                {"$project": project}]
  }
}

优化方案 #

1. 消除冗余查询 #

将$match移到$facet之前作为全局筛选阶段，这样facet的两个分支都会基于同一批筛选后的文档处理，避免重复扫描集合：

{
  // 全局筛选，仅执行一次
  "$match": {
    "$expr": {
      "$and": [{ "$gte": ["$var1", 1] }, { "$gte": ["$var2", 200] }]
    }
  },
  "$facet": {
    "results": [
      { "$sort": { "var1": 1 } },
      { "$skip": 0 },
      { "$limit": 25 },
      {
        "$project": {
          "va1": "$va1",
          "var2": "$var2",
          "var3": "$var3"
        }
      }
    ],
    "total": [
      { "$count": "count" }
    ]
  }
}

2. $project的最优位置 #

必须将$project放在$sort之前，核心原因：

• 投影后单文档体积从200KB降至2KB，排序阶段需要处理的内存数据量直接减少99%，大幅降低内存占用和排序耗时
• 注意：排序依赖的字段（此处为var1）必须保留在投影结果中，否则排序会失败
• 进一步优化的查询（排序前投影）：

{
  "$match": {
    "$expr": {
      "$and": [{ "$gte": ["$var1", 1] }, { "$gte": ["$var2", 200] }]
    }
  },
  "$facet": {
    "results": [
      // 先投影缩小数据体积，再排序
      {
        "$project": {
          "va1": "$va1",
          "var2": "$var2",
          "var3": "$var3",
          "var1": 1 // 保留排序字段，不可省略
        }
      },
      { "$sort": { "var1": 1 } },
      { "$skip": 0 },
      { "$limit": 25 }
      // 若最终结果不需要var1，可在此追加一次$project移除它
    ],
    "total": [
      { "$count": "count" }
    ]
  }
}

如果最终结果不需要排序字段var1，可以在$limit之后追加一次$project移除它，但优先保证排序前的投影以减少内存压力。

内容的提问来源于stack exchange，提问作者29np