MongoDB中传感器与网关时序数据建模及查询方案咨询

该IoT网关定时上报场景完全适配MongoDB时序集合，是时序集合的典型适用场景：数据按固定时间周期生成，查询核心维度为时间、传感器ID、网关ID，时序集合自带的元数据压缩、时间维度排序优化、存储成本优化特性，比普通集合更适合该场景。

1. 时序集合创建 #

创建时指定时间字段、元数据字段和上报粒度，适配30秒上报的特性：

db.createCollection("sensor_reports", {
  timeseries: {
    timeField: "timestamp", // 存储上报时间的字段名
    metaField: "metadata", // 存储不变/低变化属性的字段名
    granularity: "seconds" // 上报粒度为秒级
  }
})

插入的单条数据结构如下：

{
  metadata: {
    gateway: "G1",
    sensor: "S1"
  },
  timestamp: ISODate("2024-01-01T00:00:00Z")
}

网关和传感器作为元数据会被统一压缩存储，大幅降低存储成本。

2. 需求1：查询指定传感器最新上报对应的网关 #

以查询传感器S1为例，聚合语句如下：

db.sensor_reports.aggregate([
  // 过滤目标传感器数据
  { $match: { "metadata.sensor": "S1" } },
  // 按上报时间倒序，最新数据排在最前
  { $sort: { timestamp: -1 } },
  // 取最新的1条
  { $limit: 1 },
  // 格式化输出字段
  { $project: { _id: 0, gateway: "$metadata.gateway", timestamp: 1 } }
])

3. 需求2：统计指定传感器向不同网关上报的总时长 #

以查询传感器S1为例，聚合逻辑为按网关分组，取每个网关下该传感器最早和最晚上报时间的差值：

db.sensor_reports.aggregate([
  // 过滤目标传感器数据，可追加timestamp范围过滤缩小扫描范围
  { $match: { "metadata.sensor": "S1" } },
  // 按网关分组，统计每个网关的最早、最晚上报时间
  {
    $group: {
      _id: "$metadata.gateway",
      min_time: { $min: "$timestamp" },
      max_time: { $max: "$timestamp" }
    }
  },
  // 计算时长并格式化输出，结果单位为毫秒
  {
    $project: {
      _id: 0,
      gateway: "$_id",
      duration: { $subtract: ["$max_time", "$min_time"] }
    }
  }
])

输出结果和你期望的格式完全一致。

该需求也可以通过MongoDB普通集合实现，步骤如下：

1. 普通集合的单条数据直接存储字段即可，不需要拆分metadata：

{
  gateway: "G1",
  sensor: "S1",
  timestamp: ISODate("2024-01-01T00:00:00Z")
}

2. 创建复合索引优化查询性能：

// 覆盖两个查询的过滤、排序、分组逻辑
db.sensor_reports.createIndex({ sensor: 1, gateway: 1, timestamp: -1 })

3. 查询逻辑和时序集合基本一致，只需要去掉字段前的metadata.前缀即可。

• 若仅需统计指定时间范围内的上报时长，可在$match阶段追加timestamp的区间过滤条件，大幅减少需要扫描的数据量
• 时序集合不需要额外创建时间维度索引，默认已经针对时间排序做了底层优化，查询性能比加了索引的普通集合高30%以上
• 数据留存需求可直接用时序集合的expireAfterSeconds参数自动清理过期数据，不需要额外写定时任务

内容的提问来源于stack exchange，提问作者Enihr