MongoDB优化查询：批量获取指定客户最新交易记录

1. 先创建关键复合索引 #

要让查询效率质的提升，必须先建立复合索引，这是性能优化的核心：

db.transactions.createIndex({ client_id: 1, date: -1 })

这个索引能同时实现两个关键作用：

• 快速过滤出指定的client_id数据
• 直接按date降序排序，无需内存排序，大幅减少计算开销

2. 用聚合框架一次性完成查询 #

通过聚合管道，单次请求就能获取所有目标客户的最新交易记录，以下是对应示例场景（取每个客户最新5条）的代码：

db.transactions.aggregate([
  // 第一步：过滤目标client_id列表
  {
    $match: {
      client_id: { $in: [1, 2] } // 替换成你的批量client_id数组
    }
  },
  // 第二步：按client_id分组前先排序，确保每个客户的文档按date降序排列
  {
    $sort: { client_id: 1, date: -1 }
  },
  // 第三步：分组并收集每个客户的交易记录
  {
    $group: {
      _id: "$client_id",
      latest_transactions: {
        $push: "$$ROOT" // 可替换为指定字段，比如{_id: "$_id", date: "$date", total: "$total"}
      }
    }
  },
  // 第四步：截取每个客户的最新N条记录（替换为你需要的10条）
  {
    $project: {
      _id: 0,
      client_id: "$_id",
      latest_transactions: { $slice: ["$latest_transactions", 5] }
    }
  }
])

为什么这个方案比循环查询快？ #

• 消除多次网络往返：原来循环每个客户发一次请求，现在仅需一次请求，减少了网络开销和数据库连接的重复初始化成本
• 充分利用索引：$match+$sort直接复用提前创建的复合索引，避免了全表扫描和内存排序的额外消耗
• 数据库端批量处理：分组、截取操作在数据库端一次性完成，比客户端循环处理的效率提升显著

额外注意事项 #

• 如果目标client_id数量极大（上万级），可将$in的数组分批处理（比如每批1000个），避免单次查询内存占用过高
• 用db.transactions.aggregate(...).explain()查看执行计划，确认索引是否被正确使用，杜绝出现COLLSCAN（全表扫描）

内容的提问来源于stack exchange，提问作者Hamza Afridi