MongoDB调用db.TestCollection.find({}).count()查询5亿数据集合总数报错如何处理
报错原因
db.TestCollection.find({}).count() 本质需要全表遍历才能返回结果,5亿条文档的全表扫描耗时远超默认的socket读超时阈值,仅调整连接空闲时间max_connection_idle_time无法解决查询执行过程中的超时问题。
解决方案
优先使用估算计数(无精确要求场景)
如果你不需要100%精确的全表总数,直接使用元数据计数指令:db.TestCollection.estimatedDocumentCount()该指令直接读取集合元数据中存储的计数信息,不需要遍历全表,毫秒级即可返回结果,完全不会触发超时。注意该方法不支持传入查询条件,仅适用于全表总数统计场景。
精确全表计数方案
如果必须要100%准确的结果,使用countDocuments方法同时延长查询超时阈值:db.TestCollection.countDocuments({}, {maxTimeMS: 3600000})同时需要同步调整客户端socket读超时、MongoDB服务端的
maxTimeMS全局阈值到大于查询预估耗时的数值,比如设置为1小时以上。分片集群优化方案
如果你的MongoDB是分片集群,可以直接连接每个分片实例单独执行db.TestCollection.estimatedDocumentCount(),再把各个分片的结果累加,性能远高于跨分片聚合查询,也不会触发超时。长期优化方案
日常如果需要频繁统计大集合总数,建议单独维护计数:用一个专属集合存储各业务集合的文档总数,数据写入、删除时原子更新对应计数,查询时直接读取该计数即可,性能最优。
内容的提问来源于stack exchange,提问作者JarvisWu
相关产品推荐
相关产品推荐

