如何在PyMongo中高效统计table集合内唯一name字段的数量？

你原来的写法会把所有分组后的文档加载到客户端内存，当唯一name数量达到数千万级时，必然会引发内存占用过高甚至程序崩溃的问题。以下是更高效的解决方案：

最优聚合写法（数据库端完成统计） #

直接让MongoDB在服务器层面统计分组总数，仅返回最终结果，无需拉取所有分组数据：

# 方式1：使用$count阶段（MongoDB 3.4+支持）
result = table.aggregate([
    {"$group": {"_id": "$name"}},  # 按name分组，仅保留唯一标识
    {"$count": "unique_name_count"}  # 统计分组的总数量
])

# 提取结果
unique_name_count = next(result)["unique_name_count"]
print(unique_name_count)

# 方式2：嵌套$group兼容旧版本MongoDB
result = table.aggregate([
    {"$group": {"_id": "$name"}},
    {"$group": {"_id": None, "count": {"$sum": 1}}}  # 统计分组数量
])

unique_name_count = next(result)["count"]
print(unique_name_count)

为什么原写法有问题？ #

你的初始代码len(list(aggregated_sums))会将聚合返回的所有分组文档（数千万条）全部加载到客户端内存中，转换成列表后再计算长度。这种方式在数据量较大时，会瞬间耗尽客户端内存，完全不可行。

补充：更简洁的替代方案（需注意适用场景） #

如果唯一name的数量没有大到离谱，也可以用distinct方法，但同样要注意内存问题：

# 仅当唯一值数量较小时推荐使用
unique_names = table.distinct("name")
print(len(unique_names))

但当唯一值达到数千万级时，distinct依然会把所有值拉到客户端，因此还是推荐前面的聚合统计方案。

内容的提问来源于stack exchange，提问作者diplo