基于Node.js与Mongoose的骑手每日KPI无停机计算方案咨询

一、数据库层优化：砍掉冗余查询开销 #

• 用MongoDB聚合替代循环计算：把KPI统计逻辑直接推到数据库侧，用aggregate框架一次性完成所有骑手的指标计算，彻底避免分页拉取骑手再逐个查订单的低效操作。比如统计迟到率时，先过滤当日订单，再按骑手ID分组聚合，直接算出迟到订单占比，效率比循环查询高一个量级。
  示例代码片段：

  const startOfDay = new Date();
  startOfDay.setHours(0, 0, 0, 0);
  const endOfDay = new Date(startOfDay);
  endOfDay.setDate(endOfDay.getDate() + 1);
  
  const dailyKpiResults = await Order.aggregate([
    { $match: { createdAt: { $gte: startOfDay, $lt: endOfDay } } },
    {
      $group: {
        _id: "$riderId",
        totalOrders: { $sum: 1 },
        lateOrders: { $sum: { $cond: [{ $gt: ["$actualArrival", "$expectedArrival"] }, 1, 0] } },
        canceledAccepted: { $sum: { $cond: [{ $and: [{ $eq: ["$status", "canceled"] }, { $eq: ["$riderAction", "accept"] }] }, 1, 0] } },
        canceledRejected: { $sum: { $cond: [{ $and: [{ $eq: ["$status", "canceled"] }, { $eq: ["$riderAction", "reject"] }] }, 1, 0] } },
        // 其他指标如特定时长订单量，用$match嵌套或$cond判断即可
      }
    },
    {
      $project: {
        lateRate: { $divide: ["$lateOrders", "$totalOrders"] },
        cancelAcceptRate: { $divide: ["$canceledAccepted", { $add: ["$canceledAccepted", "$canceledRejected"] }] },
        // 映射其他计算后的KPI指标
      }
    }
  ]);
  

• 针对性加复合索引：给订单表的riderId、createdAt、actualArrival、status这些核心字段建复合索引，比如{ riderId: 1, createdAt: 1, status: 1 }，能把聚合查询的速度提升数倍。
• 分片应对超大规模数据：当骑手和订单量突破百万级，直接给MongoDB按riderId或createdAt分片，把数据分散到多个节点，避免单节点扛不住压力。

二、计算任务异步化：拆解放压 #

• 批量并行计算：如果必须拉取骑手数据，别串行分页处理，改成每次取100-200个骑手ID，用Promise.all并行计算，同时把并发数控制在20-50之间，既提升速度又不会压垮数据库。
• 消息队列解耦核心业务：把KPI计算和主业务彻底拆分开。Cron任务只负责触发，把当日需要计算的骑手批次（或日期范围）扔到消息队列（比如Redis Queue、RabbitMQ），多个Node.js worker进程并行消费任务。后续数据增长了，直接加worker节点就行，完全不影响主系统。

三、任务调度优化：避免无效操作 #

• 只算有订单的骑手：先查当日有订单的骑手ID列表，只对这些骑手计算KPI，砍掉无订单骑手的无效计算，能减少一大半工作量。
• 错峰执行：把cron任务从24:00整点改到凌晨1-3点的业务低峰期，避免和夜间可能存在的配送业务抢资源。
• 分片任务+重试机制：把骑手按ID哈希分成N片，每片独立执行，某一片失败了只重试该片，不用重新跑全量。同时记录任务执行状态，防止重复计算。

四、结果存储与缓存：减少重复计算 #

• 单独存KPI结果：建一个RiderDailyKPI集合，结构设计为{ riderId, date, lateRate, earlyLoginRate, cancelAcceptRate, ... }，计算完直接写入这个集合，后续查询直接读它，不用再重复统计。
• 缓存热点数据：把管理层看板常用的最近7天KPI数据存到Redis，过期时间设24小时，减轻数据库查询压力。

五、监控与扩容：提前预警 #

• 盯紧任务耗时：记录每个计算任务的开始/结束时间、处理骑手数、耗时等指标，用Prometheus+Grafana监控，当任务耗时超过阈值及时告警。
• 水平扩容计算节点：任务量上来了，直接加Node.js worker节点，消息队列会自动分配任务，无缝扩容不影响主业务。

内容的提问来源于stack exchange，提问作者Humza Faqi