使用pymongo查询MongoDB投影构建pmid-title映射速度慢，如何优化？

耗时过长的核心原因 #

• 未使用覆盖索引触发全表扫描：你仅为pmid字段建立了单字段索引，但查询需要返回pmid和title两个字段，现有索引不包含title数据，MongoDB只能扫描集合内所有原始文档获取数据。即使投影仅返回两个字段，依然需要读取磁盘上体积较大的完整原始文档，产生了极高的磁盘IO开销，这是耗时过高的核心原因。查询计划里的PROJECTION_SIMPLE仅表示投影逻辑简单，不代表不需要读取原始文档，explain本身耗时极高也佐证了全表扫描的IO开销极大。
• 游标拉取配置不合理：pymongo默认的游标单次批量拉取文档数（batch_size）较小，28万条数据需要多次往返拉取，额外增加了耗时。

优化方案 #

方案1：建立复合覆盖索引（优先级最高，效果最好） #

建立同时包含pmid和title的复合索引，让MongoDB可以直接从索引中获取所有需要的字段，完全不需要读取原始文档，将查询变为覆盖索引扫描，IO开销会下降数个数量级。
建索引命令：

# 仅需执行一次，索引建立完成后可永久使用
collection.create_index([("pmid", 1), ("title", 1)])

索引建立完成后，原查询代码几乎不需要修改，查询耗时会从百秒级降低到秒级甚至毫秒级。可通过explain验证优化效果：优化后executionStats的totalDocsExamined为0，totalKeysExamined等于文档总数286484，即代表覆盖索引生效。

方案2：调整游标批量拉取大小 #

在原有查询的基础上调整游标的batch_size参数，减少网络往返次数，也能获得一定的提速效果：

start = time.perf_counter()
# 将单次拉取批量调整为10000条，可根据实际情况调整大小
papers = collection.find(projection={"_id": False, "title": True, "pmid": True}).batch_size(10000)
papers2 = {paper["pmid"]: paper["title"] for paper in papers}
stop = time.perf_counter()
print(f"elapsed time: {stop - start} sec")

额外验证建议 #

可以先在Mongo shell中直接执行同逻辑的查询，对比耗时排除Python侧的性能影响：

var start = Date.now();
var res = db.collection.find({}, {pmid:1, title:1, _id:0}).toArray();
print(Date.now() - start);

如果shell中执行也很慢，就可以确认瓶颈完全在MongoDB侧，优先执行方案1的索引优化即可。

内容的提问来源于stack exchange，提问作者ramcdougal