MongoDB聚合500万键时PlanExecutor报错，求优化方案

异常原因分析 #

你遇到的PlanExecutor error during aggregation :: caused by :: query plan killed :: index 'last_ts_index' dropped异常，核心原因通常分为两类：

• 索引在聚合执行过程中被意外删除（比如运维操作、自动化脚本误删）；
• 聚合查询执行时间过长，触发MongoDB的查询计划终止机制，或索引未被正确利用导致内存/资源耗尽。

具体优化方案 #

1. 确保索引的稳定性与可用性 #

• 执行db.your_collection.getIndexes()（替换为你的集合名称），确认last_ts_index索引存在且结构与预期一致；
• 排查是否有自动化脚本、运维操作会误删该索引，给索引添加权限保护（比如限制删除索引的操作权限）；
• 如果是分片集群，检查所有分片节点上的索引是否同步完成，避免部分分片缺失索引引发异常。

2. 强制聚合使用指定索引 #

MongoDB的查询优化器可能选择非最优执行计划，通过$hint强制使用你创建的复合索引，确保索引被有效利用：

item.get_collection().aggregate([
    {"$match": {"id": {"$in": [1, 2, 3...]}}},
    {"$group": {"_id": "$id", "ts": {"$max": "$payload.ts"}}},
    {"$hint": "last_ts_index"}  # 强制指定使用目标索引
])

3. 优化聚合逻辑，利用索引减少计算开销 #

你的复合索引是(id: ASC, payload.ts: DESC)，可以调整聚合逻辑，先通过索引排序再取第一条数据，替代$max计算，大幅降低内存消耗：

item.get_collection().aggregate([
    {"$match": {"id": {"$in": [1, 2, 3...]}}},
    {"$sort": {"id": 1, "payload.ts": -1}},  # 直接利用复合索引排序，无需内存排序
    {"$group": {"_id": "$id", "ts": {"$first": "$payload.ts"}}},  # 取每个id的第一条数据（即最新ts）
    {"$hint": "last_ts_index"}
])

这种方式会直接走索引扫描，避免全量数据加载到内存进行分组计算，执行效率更高，更不容易触发计划终止。

4. 启用磁盘临时存储避免内存不足 #

如果聚合过程中内存占用过高，可开启allowDiskUse=True，让MongoDB使用磁盘存储临时数据：

item.get_collection().aggregate([
    {"$match": {"id": {"$in": [1, 2, 3...]}}},
    {"$group": {"_id": "$id", "ts": {"$max": "$payload.ts"}}},
], allowDiskUse=True)

5. 拆分批量查询 #

如果$in中的ID数量过大（比如超过1000个），会导致单次查询的扫描范围过大，拆分多个小批量查询（比如每次查500个ID），然后在客户端合并结果，降低单次查询的资源消耗：

def get_latest_ts(ids_list):
    batch_size = 500
    results = {}
    for i in range(0, len(ids_list), batch_size):
        batch = ids_list[i:i+batch_size]
        agg_result = item.get_collection().aggregate([
            {"$match": {"id": {"$in": batch}}},
            {"$sort": {"id": 1, "payload.ts": -1}},
            {"$group": {"_id": "$id", "ts": {"$first": "$payload.ts"}}},
            {"$hint": "last_ts_index"}
        ])
        for doc in agg_result:
            results[doc["_id"]] = doc["ts"]
    return results

内容的提问来源于stack exchange，提问作者developmentstart