DocumentDB中利用索引获取字段唯一值的问题排查

背景 #

我有一个引擎版本为5.0.0的DocumentDB数据库，集合my_collection仅包含两个字段：

• _id（UUID类型）
• user（字符串类型）
  （实际集合字段更多，为验证问题创建了仅含这两个字段的测试集合）

我需要查询user字段的唯一值，但集合文档量极大，不想全量扫描（唯一user值数量不多）。为此创建了非唯一索引：

{ "user": 1 }

尝试的查询方式 #

1. mongosh distinct语法：

db.my_collection.distinct("user")

2. 聚合管道：

db.my_collection.aggregate([{"$group": {"_id": "$user"}}])

我还尝试在聚合后添加"$sort": {"_id": 1}，但结果仍未如预期。

遇到的问题 #

本以为索引能让查询仅扫描索引，但查询耗时随文档数量增加而增长。explain结果显示：

• distinct查询的stage为AGGREGATE
• 聚合查询的stage为HASH_AGGREGATE

尝试给聚合查询添加hint: {"user": 1}时，报错：

MongoServerError: Cannot use Hint for this Query. Index is multi key index , partial index or sparse index and query is not optimized to use this index.

但该索引并非多键、部分或稀疏索引。

疑问 #

• 为何索引无法直接获取user的唯一值？
• 为何无法使用该索引？
• 是否有其他可行方案？

补充信息 #

• 集合含50k文档，4个唯一user值
• db.my_collection.explain("executionStats").distinct("user")的执行计划：

{...}

• db.my_collection.explain("executionStats").aggregate([{"$group":{"_id":"$user"}}])的执行计划：

{...}

解答 #

1. 为何索引无法直接获取user的唯一值？ #

DocumentDB 5.0.0基于MongoDB 4.0兼容版本，其distinct和$group聚合的索引利用逻辑存在局限性：

• distinct命令在该版本中，即使存在单字段索引，默认仍会执行全集合扫描后去重，而非直接遍历索引完成去重。
• $group聚合的HASH_AGGREGATE阶段是基于哈希表的内存去重逻辑，不会主动利用索引的有序性优化去重流程，除非配合特定的排序或过滤条件触发索引扫描。

2. 为何无法使用该索引？ #

报错属于DocumentDB的兼容性差异导致的误判：

• 虽然你的索引是普通单字段非唯一索引，但DocumentDB在处理$group聚合的hint时，存在逻辑缺陷，错误将其识别为多键/稀疏/部分索引。
• 另外，$group聚合在没有前置$match过滤或$sort排序的情况下，优化器会认为全表扫描后哈希聚合的成本更低，不会主动选择使用索引。

3. 可行方案 #

方案一：带排序的聚合管道触发索引扫描

利用索引的有序性，先通过$sort强制触发索引使用，再进行去重，此时优化器会选择扫描索引而非全集合：

db.my_collection.aggregate([
  { "$sort": { "user": 1 } },
  { "$group": { "_id": "$user" } }
], { hint: { "user": 1 } })

执行explain会显示IXSCAN阶段，仅扫描索引数据，避免全表扫描。

方案二：预维护唯一值集合

如果查询频率高，可创建单独集合（如unique_users），通过触发器或应用层逻辑，在my_collection文档插入/更新/删除时同步维护该集合的唯一user值。查询时直接读取这个小集合，性能最优。

方案三：$project配合索引扫描

通过$project减少扫描的数据量，再结合$sort触发索引使用：

db.my_collection.aggregate([
  { "$project": { "user": 1, "_id": 0 } },
  { "$sort": { "user": 1 } },
  { "$group": { "_id": "$user" } }
], { hint: { "user": 1 } })

内容的提问来源于stack exchange，提问作者leemes