Next.js+MongoDB商品筛选查询优化：多查询耗时过长求助

1. 合并9次聚合为单次查询（核心优化） #

使用MongoDB的$facet阶段，在一次聚合管道内完成所有9个字段的分组统计，彻底消除多次请求数据库的开销。示例代码如下：

var filterResult = await db_collection.aggregate([
  { $match: filter }, // 无需额外包裹$and，MongoDB会自动处理多条件的逻辑与
  {
    $facet: {
      sourceStats: [
        { $group: { _id: '$source', count: { $sum: 1 } } },
        { $sort: { _id: 1 } }
      ],
      brandStats: [
        { $group: { _id: '$brand', count: { $sum: 1 } } },
        { $sort: { _id: 1 } }
      ],
      familyStats: [
        { $group: { _id: '$family', count: { $sum: 1 } } },
        { $sort: { _id: 1 } }
      ],
      modelStats: [
        { $group: { _id: '$model', count: { $sum: 1 } } },
        { $sort: { _id: 1 } }
      ],
      sizeStats: [
        { $group: { _id: '$size', count: { $sum: 1 } } },
        { $sort: { _id: 1 } }
      ],
      colorStats: [
        { $group: { _id: '$color', count: { $sum: 1 } } },
        { $sort: { _id: 1 } }
      ],
      conditionStats: [
        { $group: { _id: '$condition', count: { $sum: 1 } } },
        { $sort: { _id: 1 } }
      ],
      contactStats: [
        { $group: { _id: '$contact', count: { $sum: 1 } } },
        { $sort: { _id: 1 } }
      ],
      dateStats: [
        // 若需按年月分组，可替换为$dateToString格式化日期，例如：_id: { $dateToString: { format: "%Y-%m", date: "$date" } }
        { $group: { _id: '$date', count: { $sum: 1 } } },
        { $sort: { _id: 1 } }
      ]
    }
  }
]).toArray();

// 直接解构获取各字段统计结果
const { sourceStats, brandStats, ...restStats } = filterResult[0];

2. 索引优化（数据库层面提速） #

针对$match阶段的筛选字段与分组字段创建复合索引，让MongoDB直接通过索引完成筛选和分组，避免全表扫描。

方案A：创建覆盖索引 #

如果筛选条件包含多个高频字段，可创建包含筛选字段+所有分组字段的复合覆盖索引，让查询无需回表读取文档：

db_collection.createIndex({
  source: 1,
  date: 1,
  brand: 1,
  family: 1,
  model: 1,
  size: 1,
  color: 1,
  condition: 1,
  contact: 1
});

方案B：针对高频筛选组合建索引 #

若用户常按固定组合筛选（比如source+date），单独为这类组合建索引：

db_collection.createIndex({ source: 1, date: 1 });

3. 优化筛选条件 #

• 移除冗余的$and包裹：如果filter是对象格式（如{ source: "xxx", date: { $gte: ... } }），MongoDB会自动按逻辑与处理，无需手动添加$and: [filter]。
• 避免非索引友好操作符：不要使用$where、非前缀匹配的正则（如/xxx/，改用/^xxx/），确保筛选条件能命中索引。

4. 缓存策略 #

在Next.js或数据库层添加缓存，减少重复查询：

• Next.js API路由缓存：在API路由中配置next: { revalidate: 300 }（5分钟有效期），相同筛选条件的请求直接返回缓存结果，适合实时性要求不高的场景。
• 哈希缓存：将筛选条件序列化为字符串后取MD5作为缓存key，用Redis或内存缓存存储统计结果，过期时间设为1-5分钟。

5. 离线预聚合（适合非强实时场景） #

若商品数据更新频率低，可定期预计算筛选组合的统计数据，存入单独集合（如product_facet_stats）：

• 用MongoDB定时任务或外部Cron，每天/每小时运行一次聚合，将各筛选组合的统计结果存入预聚合集合。
• 查询时直接根据筛选条件从预聚合集合读取数据，响应时间可降至毫秒级。

预聚合集合示例结构：

{
  _id: ObjectId('...'),
  filterHash: 'md5_of_filter_object',
  sourceStats: [{ _id: "xxx", count: 100 }, ...],
  brandStats: [{ _id: "yyy", count: 50 }, ...],
  updatedAt: ISODate('...')
}

内容的提问来源于stack exchange，提问作者Bastien B.