MongoDB Java驱动：内存高效统计集合唯一对象数量

嘿，这个坑我之前也踩过！当数据量上去之后，用distinct()把所有唯一对象捞到本地再调用.size()，完全是给自己找内存麻烦——客户端要加载所有唯一值，数据量大的时候直接爆内存都很正常。其实MongoDB本身就有更高效的服务器端统计方式，根本不用把数据拉到本地处理。

最优方案：用聚合管道做服务器端统计 #

MongoDB的聚合操作是在服务器端执行的，只会返回最终的统计结果，不会把大量数据传到客户端，完美解决内存问题。

1. 统计单个字段的唯一值数量

如果你是要统计某个字段（比如user_id）的唯一值数量，直接用$group分组后再$count：

db.yourCollection.aggregate([
  // 按目标字段分组，每个唯一值对应一个分组
  { $group: { _id: "$user_id" } },
  // 统计分组的总数，就是唯一值的数量
  { $count: "unique_user_count" }
])

这个操作只会返回一个包含unique_user_count的文档，内存占用可以忽略不计，而且服务器端处理比客户端高效得多。

2. 统计整个文档的唯一性

如果是要统计整个文档的唯一数量（即完全相同的文档有多少种），可以用$hash给每个文档生成唯一哈希值，再分组统计：

db.yourCollection.aggregate([
  // 给整个文档生成哈希值（$$ROOT代表当前整个文档）
  { $project: { doc_hash: { $hash: "$$ROOT" } } },
  // 按哈希值分组（哈希冲突概率极低，几乎可以忽略）
  { $group: { _id: "$doc_hash" } },
  // 统计唯一文档的数量
  { $count: "unique_document_count" }
])

如果追求绝对零冲突（虽然几乎没必要），可以直接用$$ROOT作为$group的_id，但这样分组的效率会低一些，因为服务器需要逐个比较整个文档的内容。

为什么比原来的方法好？ #

你原来用db.collection.distinct("fieldName").size()，distinct()会把所有唯一值都从服务器传到客户端，数据量大的时候客户端内存直接被占满。而聚合管道的方式，服务器只需要计算最终的数字并返回，客户端根本不用处理大量数据。

额外优化建议 #

如果要统计的字段有索引，MongoDB可以利用索引加速$group操作，大幅提升统计速度。比如给user_id加索引：

db.yourCollection.createIndex({ user_id: 1 })

内容的提问来源于stack exchange，提问作者Ankur