无需昂贵聚合调用，如何高效获取MongoDB集合中_id的所有数据类型？

核心问题分析 #

你当前使用的$group + $type聚合需要全表扫描，在数十亿级数据量下必然性能低下。MongoDB没有直接存储字段类型分布的元数据，但可以通过以下几种优化方案大幅降低成本：

优化方案 #

1. 利用系统.profile日志（若已开启） #

如果集群开启了数据库 profiling（执行db.setProfilingLevel(2)可开启全量日志记录），可以直接查询系统日志集合system.profile，从中提取历史操作中出现过的_id类型，无需扫描全量业务数据：

// 提取query中_id的类型
db.system.profile.aggregate([
  {$match: {op: "query", "query._id": {$exists: true}}},
  {$group: {_id: {$type: "$query._id"}}}
])

注意：若profiling级别设为1，仅记录慢查询，可能无法覆盖所有_id类型；级别2会记录所有操作，日志量较大，但覆盖更全面。

2. 采样扫描替代全量扫描 #

不需要遍历所有文档，通过$sample聚合阶段随机抽取样本数据，以此推断_id的类型分布。这种方法性能远高于全量扫描，且只要样本量足够，就能覆盖所有可能的类型：

db.collection.aggregate([
  {$sample: {size: 10000}}, // 可根据数据分布调整样本量，1-10万基本足够覆盖所有类型
  {$group: {_id: {$type: "$_id"}}}
])

3. 预存储类型标记（长期最优方案） #

如果业务允许，在写入文档时额外添加一个字段（比如_id_type），直接存储_id的类型：

// 写入ObjectId类型_id时
db.collection.insertOne({
  _id: ObjectId(),
  _id_type: "objectId",
  // 其他业务字段
})

// 写入数值类型_id时
db.collection.insertOne({
  _id: 123456,
  _id_type: "int",
  // 其他业务字段
})

之后只需查询该字段的去重值即可：

db.collection.distinct("_id_type")

这种方法性能最优，但需要修改写入逻辑，适合新业务或可批量更新历史数据的场景。

4. 分片集群下的分片并行采样 #

如果集合是分片的，可针对每个分片单独采样，再汇总结果。每个分片的采样仅扫描该分片数据，并行执行能进一步提升速度：

// 获取所有分片信息
var shards = db.getSiblingDB("config").shards.find().toArray()
var allTypes = new Set()

shards.forEach(shard => {
  // 连接到对应分片的集合
  var shardCollection = db.getSiblingDB(shard._id).getCollection(db.collection.getName())
  // 每个分片采样1000条
  var shardTypes = shardCollection.aggregate([
    {$sample: {size: 1000}},
    {$group: {_id: {$type: "$_id"}}}
  ]).toArray().map(item => item._id)
  // 汇总类型
  shardTypes.forEach(type => allTypes.add(type))
})

// 输出所有类型
print([...allTypes])

补充说明 #

MongoDB确实没有内置的字段类型统计元数据，无法直接从系统集合获取_id的所有类型。上述方案中，采样扫描是无需修改业务逻辑的临时最优解；预存储类型标记则是长期性能最优的方案。

内容的提问来源于stack exchange，提问作者Kislay Kumar