如何优化从MongoDB批量读取数据并高速写入全文搜索引擎的性能

你当前的写法存在致命性能隐患，先修正核心逻辑再做逐层优化，全量落地后10万条数据处理耗时可以压到3秒内，且20亿规模全量遍历不会出现越跑越慢的问题。

首先修正核心逻辑错误 #

你用的collection.find()[i*batch:(i+1)*batch]本质是skip + limit分页逻辑：MongoDB执行skip时需要遍历完前面所有被跳过的文档才能定位到目标批次，随着偏移量增大，取数延迟会指数级上涨，现在你小批量测试感知不明显，等跑到百万、千万级偏移之后，单批次取数可能就要花几十秒，根本跑不完20亿数据。

分层优化落地步骤 #

1. MongoDB取数层优化 #

• 替换skip分页为*_id范围分页*：利用_id字段自带的唯一索引，每次取数以「上一批次最后一条文档的_id」为过滤条件，全程走索引，不管翻到多少页，取数延迟恒定。核心代码参考：

from pymongo import CursorType
last_id = None
# 批次大小建议设为5000-20000，根据服务器内存调整
batch_size = 10000
while True:
    filter_rule = {}
    if last_id:
        filter_rule["_id"] = {"$gt": last_id}
    cursor = collection.find(
        filter_rule,
        # 必须加投影！只返回搜索引擎需要的字段，多余字段一律不查
        projection={"unneeded_field": 0, "big_log_field": 0}
    ).sort("_id", 1).limit(batch_size)
    # 开exhaust流模式，让MongoDB持续推送数据，减少getMore请求的网络往返
    cursor.add_option(CursorType.EXHAUST)
    batch = list(cursor)
    if not batch:
        break
    last_id = batch[-1]["_id"]
    # 后续做序列化、写入逻辑

• 替换慢序列化组件：不要用语言默认的JSON序列化方法，Python换orjson、Java换Jackson Afterburner模块，序列化速度比默认实现快3-10倍，且不要把多余字段做序列化，只传搜索引擎需要的内容。
• 批量拉取时把驱动的batch_size和你业务处理的批次大小对齐，减少网络交互次数。

2. 搜索引擎写入层优化 #

• 绝对不要单条/小批量发API请求，统一用搜索引擎的批量写入接口，单请求体大小控制在5MB-15MB区间，平衡请求开销和服务端处理压力，比单条写入快5-10倍。
• 做读写并行：不要等上一批数据完全写入搜索引擎后再拉下一批Mongo数据，用两个独立的工作池：一组线程/协程专门负责从Mongo拉数据、序列化，塞到有界内存队列；另一组专门从队列取数据调批量写入接口，把拉数和写入的IO等待时间完全重叠，这一项就能把总耗时砍半。
• 全量导入阶段临时调优搜索引擎配置：暂时关闭索引实时刷新（比如ES把refresh_interval设为-1）、把副本数临时调为0，等全量导入完成后再恢复配置、做一次强制刷新，写入速度还能提升2-3倍。

3. 架构级优化 #

• 导入任务、MongoDB、搜索引擎全部走内网同可用区部署，不要走公网传输，公网的延迟和带宽损耗会吃掉至少一半性能。
• 20亿数据量单进程跑效率太低，可以做分片并行：把_id按范围切分成N个独立区间（数量和MongoDB分片数、搜索引擎节点数对齐即可），开N个独立进程分别处理对应区间的数据，性能可以随进程数线性提升，注意控制总连接数不要打满数据库即可。

内容的提问来源于stack exchange，提问作者m.yagmur