MongoDB批量插入超500万文档后性能骤降，如何优化？

核心问题定位 #

当前使用skip+limit的分页方式是性能暴跌的关键原因：随着skip值增大，MongoDB需要扫描所有跳过的文档才能定位到目标批次，数据量越大，扫描开销呈线性增长，直接导致后续查询效率骤降。结合CPU使用率下降的现象，说明MongoDB大部分时间都在做无效的文档扫描，而非处理有效查询请求。

以下是具体优化措施：

1. 替换skip+limit为游标分页 #

基于查询条件中的有序唯一字段（createdOn + _id）实现游标分页，避免全量扫描前置文档：

from bson.objectid import ObjectId

last_created = start_date
last_id = ObjectId()
batch_size = 1000  # 可根据实际情况调整

while True:
    # 以上一批最后一条数据的字段作为查询起始条件
    query = {
        "groupIds": 2,
        "createdOn": {"$gte": start_date, "$lte": end_date},
        "$or": [
            {"createdOn": {"$gt": last_created}},
            {"createdOn": last_created, "_id": {"$gt": last_id}}
        ]
    }
    batch = list(collection.find(query).limit(batch_size))
    if not batch:
        break
    
    # 处理文档、插入目标集合的逻辑
    process_and_insert(batch)
    
    # 更新下一批的起始标记
    last_created = batch[-1]["createdOn"]
    last_id = batch[-1]["_id"]

该方式利用索引直接定位下一批数据，不会随着数据量增大而增加查询开销。

2. 给源集合创建针对性复合索引 #

针对查询条件groupIds:2 + createdOn范围，创建复合索引：

// 在MongoDB shell中执行
db.source_collection.createIndex({"groupIds": 1, "createdOn": 1, "_id": 1})

这个索引可以让MongoDB直接通过索引定位符合条件的文档，无需扫描集合数据，大幅提升查询效率，尤其是游标分页时能快速定位下一批数据的起始位置。

3. 调整批次大小与写入策略 #

• 增大批次大小：当前单条文档0.7KB，可尝试将批次大小提升至5000~10000，减少MongoDB的查询次数和网络交互开销。
• 优化写入方式：使用insert_many时设置ordered=False（允许乱序插入），或使用bulk_write批量执行写入操作，减少写入时的网络往返次数。

4. 优化并行任务与EC2实例配置 #

• 调整并行任务数：t2.medium是CPU突发型实例，长时间高负载会耗尽CPU积分导致性能受限，可尝试将并行任务数调整为1，或升级实例为t3.medium（无CPU积分限制）/c5.large（计算优化型）。
• 拆分查询范围：若保留两个并行任务，需将createdOn时间范围拆分为两个独立区间，避免两个任务重复查询同一范围，减少资源竞争。

5. 临时禁用目标集合索引 #

目标集合仅需默认_id索引时，可先禁用非必要索引（或临时删除除_id外的索引），完成全部插入后再重建：

// 临时删除非_id索引
db.target_collection.dropIndexes(["other_index_name"])
// 完成所有插入后重建索引（如果需要）
db.target_collection.createIndex({"new_field": 1})

禁用索引能避免MongoDB在批量插入时频繁更新索引，大幅提升写入速度。

6. 减少数据传输量 #

查询时使用投影仅返回需要处理的字段，避免传输整个文档：

batch = list(collection.find(
    query,
    {"groupIds": 1, "createdOn": 1, "field_to_process": 1, "_id": 1}  # 仅列出需要的字段
).limit(batch_size))

减少网络传输的数据量，降低EC2与MongoDB之间的网络开销。

7. 排查网络瓶颈 #

确保任务所在的t2.medium与MongoDB所在的m4.xlarge处于同一VPC和可用区，使用内网IP连接MongoDB，避免公网传输的延迟和带宽限制。

8. 调整MongoDB写入配置（可选） #

若允许临时降低数据可靠性要求，可调整写关注级别或临时禁用journaling：

• 设置写关注为w:1（默认值，若之前设置更高可调整）：

  # PyMongo中设置
  target_collection.insert_many(batch, write_concern={"w": 1})
  

• 临时禁用journaling（仅适用于可承受数据丢失的场景，完成后恢复）：

  // MongoDB shell中执行
  db.adminCommand({"setParameter": 1, "journalCommitInterval": 300})
  

内容的提问来源于stack exchange，提问作者Ajay V