Python操作MongoDB全量加载快但耗内存，逐城查询慢如何优化

• 单次查询固定开销叠加：不管查询返回的数据量多少，每次Mongo查询都要经历请求解析、查询计划匹配、权限校验、结果序列化、客户端反序列化等固定流程，1300次查询的固定开销累计起来远高于1次全量查询的开销。
• IO效率差异：全量查询是一次顺序IO读取所有符合条件的文档，而按城市单条查询如果没有对应索引，会触发1300次全表扫描；就算建了city字段索引，每次查询也要走索引查找后再随机IO读取对应文档，IO效率远低于顺序IO。
• 你测试的全量加载仅用20秒就完成了数据拉取，剩下的3分40秒都是Python处理和写入的开销，说明查询本身的开销占比极低，方案2把大量时间浪费在了重复的查询流程上。

• 先建复合索引：给源集合创建{city: 1, population: 1}的复合索引，执行命令为db.你的源集合名.createIndex({city: 1, population: 1})，既可以加速符合条件的城市列表查询，也能加速按城市筛选文档的查询。
• 采用流式分批+批量查询的折中方案：不用全量加载所有数据，也不用一次查一个城市，每次用$in查询20_{50个城市的所有文档，查询次数从1301次降到30}70次，每次查询结束后在本地拆分对应城市的文档，处理完就释放内存再查下一批城市，内存占用可以控制在1GB以内，查询耗时可以降到接近全量查询的水平。
• 批量写入优化：转换后的文档不要单条插入，攒够500~1000条后调用insert_many批量写入新集合，写入效率可以提升10倍以上。
• 流式全量拉取按需分组：如果不想分批查城市，可以开启Mongo游标的batchSize参数，比如设置batch_size=2000，流式拉取所有符合population>500条件的文档，边拉边按城市分组，每攒够一定量（比如20个城市的所有文档）就执行转换写入，处理完清空内存再继续拉取，内存占用可控，且只需要1次查询，速度最快。
• 多进程加速转换逻辑：如果你的转换函数是CPU密集型，可以用Python多进程池并行处理不同城市的文档转换，充分利用多核CPU的性能，进一步降低整体耗时。

内容的提问来源于stack exchange，提问作者Daniel