后端传感器数据过滤性能优化求助：如何降低前端负载？

原代码的核心问题 #

你当前的代码先通过Sensor.find()把所有传感器的全部历史数据加载到Node.js内存中，再循环过滤每个传感器的values数组。当数据量达到数万条时，全量数据的IO传输、内存占用以及循环过滤的计算开销都会导致处理速度极慢。

优化方案：数据库层面过滤数据 #

利用MongoDB的聚合管道，直接在数据库服务器完成values数组的过滤，只返回最近24小时的数据，避免全量数据传输到应用层。

1. 聚合管道实现代码

sensorRoutes.get(
  '/', 
  expressAsyncHandler(async(req, res) => {
    // 计算24小时前的时间戳（注意匹配MongoDB中timestamp的存储类型）
    const last24h = Date.now() - 86400000; 
    // 如果你的timestamp是ISODate类型，改成下面这行：
    // const last24h = new Date(Date.now() - 86400000);

    const sensorData = await Sensor.aggregate([
      // 过滤每个传感器的values数组，仅保留最近24小时的数据
      {
        $addFields: {
          values: {
            $filter: {
              input: "$values",
              as: "item",
              cond: { $gte: ["$$item.timestamp", last24h] }
            }
          }
        }
      },
      // 可选：过滤掉没有有效数据的传感器（如果不需要保留空数据的传感器）
      {
        $match: {
          values: { $ne: [] }
        }
      }
    ]);

    if(sensorData.length > 0){
      res.send(sensorData);
    }else{
      res.status(404).send({message: 'No sensor data found for the last 24 hours'});
    }
  })
);

2. 添加索引加速查询

为values.timestamp字段添加索引，让MongoDB能快速定位符合时间条件的数组元素，进一步提升过滤效率：

// 在你的Sensor模型定义中添加索引
sensorSchema.index({ "values.timestamp": 1 });

优化效果说明 #

• 数据处理从应用层转移到数据库层，避免了全量数据的IO传输和内存占用
• MongoDB的聚合操作经过底层优化，过滤效率远高于Node.js内存中的循环处理
• 索引的添加能大幅降低时间条件的查询耗时

内容的提问来源于stack exchange，提问作者Aron