MongoDB聚合中如何将多个$group合并到最终$project阶段？

问题根源 #

你的聚合管道中，每一次$group阶段仅保留了_id和当前要聚合的字段（比如第一次$group只留_id和images），用户原始字段（name、age、bio）以及前一个$group生成的字段都会被丢弃。经过三次$group后，最终文档仅剩下_id（若后续lookup无有效数据，连最后聚合的字段也会丢失），所以$project无法取出其他字段，最终只返回_id。

解决方案 #

方案一：在每个$group阶段保留所有需要的字段

由于是按_id分组，每个分组仅对应一个原始用户文档，因此可以用$first操作符将之前的所有字段保留下来：

const user = userCollection.aggregate([
    {
      $match: {
         _id: ObjectId(id)
      }
    },

    // lookup images list
    {
       $lookup: {...} // 你的原有lookup逻辑
    },
    {
        $unwind: {
            path: '$images',
            preserveNullAndEmptyArrays: true,
        },
    },
    { $sort: { 'images.createdAt': -1 } },
    {
        $group: {
            _id: '$_id',
            name: { $first: '$name' }, // 保留用户原始字段
            age: { $first: '$age' },
            bio: { $first: '$bio' },
            images: { $push: '$images' },
        },
    },

    // lookup blocked list
    {
       $lookup: {...} // 你的原有lookup逻辑
    },
    {
        $unwind: {
            path: '$blocked',
            preserveNullAndEmptyArrays: true,
        },
    },
    { $sort: { 'blocked.createdAt': -1 } },
    {
        $group: {
            _id: '$_id',
            name: { $first: '$name' }, // 保留之前的字段
            age: { $first: '$age' },
            bio: { $first: '$bio' },
            images: { $first: '$images' }, // 保留上一阶段的images数组
            blocked: { $push: '$blocked' },
        },
    },

    // lookup followers list
    {
       $lookup: {...} // 你的原有lookup逻辑
    },
    {
        $unwind: {
            path: '$followers',
            preserveNullAndEmptyArrays: true,
        },
    },
    { $sort: { 'followers.createdAt': -1 } },
    {
        $group: {
            _id: '$_id',
            name: { $first: '$name' },
            age: { $first: '$age' },
            bio: { $first: '$bio' },
            images: { $first: '$images' },
            blocked: { $first: '$blocked' },
            followers: { $push: '$followers' },
        },
    },

    {
       $project: {
          _id: 1,
          name: 1,
          age: 1,
          bio: 1,
          images: 1,
          blocked: 1,
          followers: 1,
       }
    }
]);

方案二：用$lookup子管道优化（更高效）

MongoDB 3.6及以上版本支持在$lookup中嵌套子管道，可以直接在关联查询内部完成排序，无需外层的$unwind和$group，从根源避免字段丢失问题：

const user = userCollection.aggregate([
    {
      $match: {
         _id: ObjectId(id)
      }
    },

    // lookup images list（内部完成排序）
    {
       $lookup: {
          from: 'images', // 替换为你的images集合名
          let: { userId: '$_id' },
          pipeline: [
              { $match: { $expr: { $eq: ['$userId', '$$userId'] } } }, // 关联条件
              { $sort: { createdAt: -1 } } // 直接在lookup内部排序
          ],
          as: 'images'
       }
    },

    // lookup blocked list
    {
       $lookup: {
          from: 'blocked', // 替换为你的blocked集合名
          let: { userId: '$_id' },
          pipeline: [
              { $match: { $expr: { $eq: ['$userId', '$$userId'] } } },
              { $sort: { createdAt: -1 } }
          ],
          as: 'blocked'
       }
    },

    // lookup followers list
    {
       $lookup: {
          from: 'followers', // 替换为你的followers集合名
          let: { userId: '$_id' },
          pipeline: [
              { $match: { $expr: { $eq: ['$userId', '$$userId'] } } },
              { $sort: { createdAt: -1 } }
          ],
          as: 'followers'
       }
    },

    {
       $project: {
          _id: 1,
          name: 1,
          age: 1,
          bio: 1,
          images: 1,
          blocked: 1,
          followers: 1,
       }
    }
]);

这个方案减少了多次$unwind和$group的开销，同时避免了字段丢失，是更优的实现方式。

内容的提问来源于stack exchange，提问作者Epple