如何实现MongoDB日期后缀多集合动态聚合对接Grafana数据源

方案1：JSON数据源代理层生成集合列表 #

• Grafana JSON数据源通常对接自定义的中间代理服务，不会直接访问MongoDB。你可以在代理层拿到Grafana传入的__from和__to时间戳参数后，先将两个时间戳转换为YYYY_MM_DD格式的起止日期，遍历生成二者之间所有日期对应的XXXXX_YYYY_MM_DD格式集合名，过滤掉不存在的集合后，再将所有集合名传入MongoDB聚合的$unionWith阶段执行联合查询。
• 该方案改造成本最低，不需要调整MongoDB侧配置和Grafana侧配置。

方案2：MongoDB侧动态匹配符合规则的集合 #

如果没有权限修改代理层逻辑，可以直接在聚合查询中通过MongoDB系统集合自动匹配符合日期范围的集合，核心查询逻辑示例如下：

db.system.namespaces.aggregate([
  // 匹配前缀符合规则、日期在__from到__to范围内的集合
  {
    $match: {
      name: {
        $regex: /^XXXXX_\d{4}_\d{2}_\d{2}$/,
        $gte: "XXXXX_" + ISODate(${__from}).toISOString().slice(0, 10).replaceAll("-", "_"),
        $lte: "XXXXX_" + ISODate(${__to}).toISOString().slice(0, 10).replaceAll("-", "_")
      }
    }
  },
  // 提取符合条件的集合名
  { $project: { collName: "$name", _id: 0 } },
  // 关联查询所有符合条件集合的业务数据
  {
    $lookup: {
      from: "$collName",
      pipeline: [ /* 此处填写你原本的业务查询逻辑 */ ],
      as: "bizData"
    }
  },
  { $unwind: "$bizData" },
  { $replaceRoot: { newRoot: "$bizData" } }
])

• 注意需提前开通MongoDB账号对system.namespaces系统集合的查询权限，避免权限拦截。

方案3：Grafana变量预生成日期集合 #

如果前两种方案都无法落地，可以在Grafana面板中新增一个隐藏的自定义变量，基于__from和__to参数生成所有中间日期对应的集合名列表，在聚合查询时直接把变量传入$unionWith的集合列表即可。

• 该方案适合无服务端修改权限的场景，缺点是查询跨度过大时会生成过长的集合列表，可能影响查询性能。

注意事项 #

• 建议给查询加上最大时间跨度限制，比如最多查询31天内的数据，避免一次查询过多集合导致MongoDB负载过高。
• 生成集合名后建议先校验集合是否真实存在，避免查询不存在的集合返回报错。

内容的提问来源于stack exchange，提问作者Ivan