如何查询指定时间范围内的文档并包含起始时间前的最后一个有效文档

我明白你的痛点——这种“增量更新不新建文档”的统计存储方式，确实会让常规的时间范围查询漏掉那些在起始时间前生效、但覆盖了查询区间前半段的文档。咱们先把问题拆解清楚，再一步步解决。

首先得明确每个统计文档的有效时间窗口：

• 一个文档从create_date开始生效，直到下一个文档的create_date之前（因为下一个文档的创建意味着统计值发生了变化）。
• 如果是最后一个文档，它的有效窗口是从create_date到update_date（也就是最后一次确认值未变的时间）。

你的核心需求是：找出所有有效窗口与目标查询区间[start_time, end_time]有交集的文档，而不只是create_date落在区间内的文档。

接下来用MongoDB聚合来实现这个逻辑，分两种情况（看你的MongoDB版本）：

方案一：MongoDB 5.0+ 用$setWindowFields（推荐，效率更高） #

这个操作可以轻松获取每个文档的下一个文档的create_date，从而计算有效窗口的结束时间。

假设你要查询的时间范围是start_time=5500、end_time=8000，聚合代码如下：

db.stats.aggregate([
  // 第一步：按创建时间升序排序，确保能正确获取下一个文档
  { $sort: { create_date: 1 } },
  // 第二步：给每个文档添加下一个文档的create_date
  {
    $setWindowFields: {
      partitionBy: null, // 全局所有文档统一处理
      sortBy: { create_date: 1 },
      output: {
        next_create_date: { $lead: "$create_date" } // 获取下一个文档的create_date
      }
    }
  },
  // 第三步：计算每个文档的有效结束时间
  {
    $addFields: {
      effective_end: {
        $cond: {
          if: { $ne: ["$next_create_date", null] },
          then: "$next_create_date", // 有下一个文档，有效到下一个文档创建前
          else: "$update_date"       // 没有下一个文档，有效到最后一次更新时间
        }
      }
    }
  },
  // 第四步：筛选出有效窗口和查询区间有交集的文档
  {
    $match: {
      $and: [
        { create_date: { $lte: 8000 } }, // 文档创建时间不晚于查询结束时间
        { effective_end: { $gt: 5500 } } // 文档有效结束时间晚于查询开始时间（即有重叠）
      ]
    }
  },
  // 可选：去掉辅助字段，返回原始结构
  {
    $project: {
      next_create_date: 0,
      effective_end: 0
    }
  }
])

拿你的例子测试：

• 查询5500-8000时，第一个文档的有效窗口是2000-6000，和查询区间重叠5500-6000，会被包含进来；
• 查询6500-15000时，第二个文档的有效窗口是6000-7000，重叠6500-7000，也会被包含。

方案二：MongoDB 5.0以下 用$lookup模拟 #

如果你的MongoDB版本不支持$setWindowFields，可以用自关联的方式获取下一个文档，步骤稍复杂但逻辑一致：

db.stats.aggregate([
  { $sort: { create_date: 1 } },
  // 给每个文档添加自增序号，用来定位下一个文档
  {
    $addFields: {
      idx: { $indexOfArray: [db.stats.distinct("create_date").sort(), "$create_date"] }
    }
  },
  // 自关联查询，找到序号+1的下一个文档
  {
    $lookup: {
      from: "stats",
      let: { current_idx: "$idx" },
      pipeline: [
        { $sort: { create_date: 1 } },
        { $addFields: { idx: { $indexOfArray: [db.stats.distinct("create_date").sort(), "$create_date"] } } },
        { $match: { $expr: { $eq: ["$idx", { $add: ["$$current_idx", 1] }] } } },
        { $project: { create_date: 1 } }
      ],
      as: "next_doc"
    }
  },
  // 提取下一个文档的create_date
  {
    $addFields: {
      next_create_date: { $arrayElemAt: ["$next_doc.create_date", 0] },
      next_doc: 0 // 清理临时字段
    }
  },
  // 后面的步骤和方案一一致：计算有效结束时间、筛选、投影
  {
    $addFields: {
      effective_end: {
        $cond: {
          if: { $ne: ["$next_create_date", null] },
          then: "$next_create_date",
          else: "$update_date"
        }
      }
    }
  },
  {
    $match: {
      $and: [
        { create_date: { $lte: 8000 } },
        { effective_end: { $gt: 5500 } }
      ]
    }
  },
  {
    $project: {
      idx: 0,
      next_create_date: 0,
      effective_end: 0
    }
  }
])

为什么原来的查询不行？ #

你之前用的create_date在[start, end]的条件，只筛选了在查询区间内创建的文档，但完全忽略了那些在区间前创建、但有效窗口覆盖了区间前半段的文档——这正是你遇到的问题。而我们的聚合逻辑是从“有效窗口是否重叠”出发，完美覆盖了这种场景。

边界情况说明 #

• 如果查询的起始时间早于所有文档的create_date，第一个文档会被自动包含（因为它的有效结束时间肯定晚于起始时间）；
• 如果查询的结束时间晚于所有文档的create_date，最后一个文档也会被包含（有效结束时间是它的update_date）；
• 如果某个文档的有效窗口完全在查询区间之前，会被正确过滤掉（比如第一个文档在查询6500-15000时，有效结束时间是6000，早于6500，不会被包含）。

内容来源于stack exchange