如何优化MongoDB聚合查询：为数组元素添加关联集合字段

需求说明：从chat集合指定文档中提取messages数组前4条，为每条消息通过DBRef类型的sender字段关联user集合，添加对应的senderName字段（取自user.userDetails.displayedName）。

原查询代码 #

db.chat.aggregate([
  {
    "$match": {
      "_id": ObjectId("65d72b8d38e0970f7140015a")
    }
  },
  {
    "$project": {
      "messages": {
        "$slice": [
          "$messages",
          0,
          4
        ]
      }
    }
  },
  {
    "$project": {
      "messages": {
        "$map": {
          "input": "$messages",
          "in": {
            "$mergeObjects": [
              "$$this",
              {
                "senderId": {
                  "$toObjectId": "$$this.sender.$id"
                }
              }
            ]
          }
        }
      }
    }
  },
  {
    "$lookup": {
      "from": "user",
      "let": {
        "senderIds": "$messages.senderId"
      },
      "pipeline": [
        {
          "$match": {
            "$expr": {
              "$in": [
                "$_id",
                "$$senderIds"
              ]
            }
          }
        },
        {
          "$project": {
            "senderName": "$userDetails.displayedName",
            "senderId": "$_id",
            "_id": 0
          }
        }
      ],
      "as": "sendersData"
    }
  },
  {
    "$project": {
      "_id": 0,
      "messages": {
        "$map": {
          "input": "$messages",
          "as": "m",
          "in": {
            "$mergeObjects": [
              "$$m",
              {
                "$first": {
                  "$filter": {
                    "input": "$sendersData",
                    "as": "f",
                    "cond": {
                      "$eq": [
                        "$$f.senderId",
                        "$$m.senderId"
                      ]
                    }
                  }
                }
              }
            ]
          }
        }
      }
    }
  },
  {
    "$unset": "messages.senderId"
  }
])

优化方案 #

1. 合并冗余管道阶段，减少计算步骤

将$slice截取消息、转换DBRef为ObjectId的逻辑合并到同一个$project阶段，避免多次遍历messages数组，减少管道处理开销。

2. 优化Lookup关联逻辑，避免中间字段

直接在Lookup的let中传递原始的sender.$id数组，无需额外生成senderId字段，减少字段转换与存储的冗余操作。

3. 简化消息与用户数据的匹配

将查询到的用户数据转换为以_id字符串为键的对象，通过键值直接匹配消息，替代$filter+$first的线性查找，提升匹配效率。

优化后的完整代码

db.chat.aggregate([
  // 匹配目标chat文档
  { "$match": { "_id": ObjectId("65d72b8d38e0970f7140015a") } },
  // 截取前4条消息，同时转换DBRef为可关联的ObjectId
  {
    "$project": {
      "_id": 0,
      "messages": {
        "$map": {
          "input": { "$slice": ["$messages", 0, 4] },
          "in": {
            "$mergeObjects": [
              "$$this",
              { "senderRefId": { "$toObjectId": "$$this.sender.$id" } }
            ]
          }
        }
      }
    }
  },
  // 批量关联用户数据，仅保留所需字段
  {
    "$lookup": {
      "from": "user",
      "let": { "senderIds": "$messages.senderRefId" },
      "pipeline": [
        { "$match": { "$expr": { "$in": ["$_id", "$$senderIds"] } } },
        { "$project": { "_id": 1, "senderName": "$userDetails.displayedName" } }
      ],
      "as": "senders"
    }
  },
  // 将用户数据转为键值对映射，实现快速匹配
  {
    "$addFields": {
      "senderMap": {
        "$arrayToObject": {
          "$map": {
            "input": "$senders",
            "in": { "k": { "$toString": "$$this._id" }, "v": "$$this.senderName" }
          }
        }
      }
    }
  },
  // 为每条消息绑定senderName，清理临时字段
  {
    "$project": {
      "messages": {
        "$map": {
          "input": "$messages",
          "in": {
            "$mergeObjects": [
              "$$this",
              { "senderName": { "$arrayElemAt": ["$senderMap.{$$this.senderRefId}", 0] } }
            ]
          }
        }
      }
    }
  },
  // 移除中间临时字段
  { "$unset": ["messages.senderRefId", "senderMap"] }
])

额外优化建议 #

• 确保user集合的_id字段存在索引（MongoDB默认自动创建），进一步提升Lookup阶段的匹配速度。
• 如果DBRef的$ref字段存在多集合关联场景，需在Lookup的pipeline中添加$ref匹配逻辑，避免跨集合误关联。

内容的提问来源于stack exchange，提问作者Bluecross