MongoDB千万级数据GROUP聚合查询优化及架构咨询

数据老陈

2026-5-6

针对你千万级MongoDB日志数据的分组统计性能问题，我从索引优化、查询修正、预聚合、结构调整和工具选型几个方面给你具体方案：

一、先解决索引不生效的核心问题

你的查询先通过created_at过滤时间范围，再按product_id和日期分组，所以需要创建复合前缀索引：

db.your_collection.createIndex({created_at: 1, product_id: 1})

这里要注意顺序：范围查询的字段（created_at）必须放在索引前缀位置，后续的product_id用于分组，这样MongoDB可以先通过索引快速过滤出时间范围内的文档，再基于索引中的product_id做分组，完全避免全表扫描（COLLSCAN）。

检查你现有的索引是否不符合这个规则，比如单独建了created_at或product_id的单字段索引，或者顺序搞反了，这些都会导致索引无法被有效利用。

二、修正查询语句的语法错误

你提供的查询语句存在语法问题，这可能也是性能差的原因之一，正确的写法应该是：

[
  {
    '$match': {
      'created_at': {
        '$gte': new Date(startDate),
        '$lte': new Date(endDate)
      }
    }
  },
  {
    '$group': {
      '_id': {
        'product_id': '$product_id',
        'date': { '$dateToString': { date: '$created_at', format: '%Y-%m-%d' } }
      },
      'sum': { '$sum': 1 }
    }
  }
]

注意：

$match的参数是对象而非数组；
$group中的sum字段要放在_id外面，否则会被当成分组键的一部分，导致统计逻辑错误；
引用字段时要加$前缀（比如$product_id）。

三、进阶优化：预聚合减少实时计算量

因为你是按天做固定维度的统计，完全可以用预聚合把计算压力从查询阶段转移到写入/定时任务阶段：

创建一个统计结果集合，比如daily_product_log_stats，结构为：

{
  product_id: 47,
  date: "2019-12-20",
  count: 12345,
  created_at: ISODate("2019-12-21T00:00:00Z")
}

每天凌晨通过定时任务（比如MongoDB Shell脚本、Node.js定时任务）执行聚合，把前一天的日志数据统计后写入这个集合；
如果需要实时查询当天的数据，可以把预聚合的历史数据和当天实时聚合的结果合并返回，这样大部分查询都直接走小集合，速度能提升几十倍甚至上百倍。

四、文档结构与查询细节优化

预存日期字符串：在写入日志时，直接在应用层或通过MongoDB触发器生成date_str字段（比如"2019-12-20"），避免查询时实时调用$dateToString做转换，节省CPU资源；
使用覆盖索引+投影：在查询时添加$project只返回需要的字段：
```
[
  { '$match': { /* 过滤条件 */ } },
  { '$project': { product_id: 1, created_at: 1, _id: 0 } },
  { '$group': { /* 分组逻辑 */ } }
]
```
结合之前的复合索引，MongoDB可以直接从索引中读取所需数据，不需要回表查询原始文档，进一步提升性能。

五、工具选型的补充建议

当前的文档结构是适合MongoDB存储日志的（扁平结构、字段简洁），但如果你的场景以大规模聚合分析为主，以下工具可以考虑：

Elasticsearch：天生擅长时间序列数据的聚合分析，内置的日期直方图聚合（date_histogram）针对按天统计做了优化，实时查询性能远超MongoDB，同时支持日志的全文检索；
ClickHouse：列式数据库，针对大数据量的离线聚合查询性能极强，适合做批量统计报表；
但如果项目已经基于MongoDB搭建，优先做前面的优化方案即可，切换工具需要考虑迁移成本和学习曲线。

内容的提问来源于stack exchange，提问作者thxbox