PyMongo结合Django分页时游标过大引发MemoryError问题求助

你遇到的这个问题在处理超大规模MongoDB数据集时很常见——Django分页依赖总数据量，但PyMongo的count()在数据量极大时会因为扫描全集合触发MemoryError，下面给你几个实用的解决方案，按推荐程度排序：

1. 给查询字段建立索引（最优先方案） #

你的查询条件是{field: {'$exists': True}}，如果给field字段创建一个索引，MongoDB在执行count()时会直接利用索引统计数量，不需要扫描整个集合的文档，内存占用会骤降，同时查询和排序的性能也会大幅提升。

创建索引的代码如下：

players.create_index([(field, DESCENDING)])

索引创建完成后，再执行lookup.count()应该就不会触发MemoryError了。

2. 使用估算计数替代精确计数 #

如果你的分页场景可以接受近似的总数据量（比如不需要显示精确的“共X页”，只保留“下一页”按钮），可以用PyMongo的估算计数功能。它会利用MongoDB集合的元数据快速获取文档数量，完全不会扫描文档，内存占用可以忽略。

在PyMongo 3.2.1中，你可以这样调用：

total_count = players.count({field: {'$exists': True}}, estimate=True)

注意：这个估算值可能和实际数量有小误差（尤其是集合频繁有写入操作时），但对于大部分分页场景来说足够用了。

3. 改用基于键集的分页（Keyset Pagination） #

如果上面两种方法都不适用，或者你想彻底避免count()和skip()的性能问题，推荐使用键集分页的方式。这种方式不需要知道总数据量，也不会因为skip()导致大数据量时的性能下降。

具体思路是：

• 第一页：获取前25条数据，同时记录最后一条数据的field值
• 下一页：查询field小于上一页最后一条的field值的文档，再取25条
• 以此类推，直到没有数据返回

代码示例：

# 获取第一页数据
first_page = players.find({field: {'$exists': True}}).sort(field, DESCENDING).limit(25)
last_field_val = None
for doc in first_page:
    # 处理当前页的文档逻辑
    last_field_val = doc[field]

# 获取下一页数据（如果有上一页的最后一条字段值）
if last_field_val is not None:
    next_page = players.find({
        field: {'$exists': True, '$lt': last_field_val}
    }).sort(field, DESCENDING).limit(25)

这种方式的优势很明显：

• 完全不需要计算总数据量，从根源上避免了MemoryError
• 性能比skip()+limit()好很多（skip()在大数据量时需要跳过大量文档，效率极低）
• 天然支持并发场景下的数据一致性（比如分页过程中有新数据插入，不会导致重复或遗漏）

当然，它的局限性是不能直接跳转到指定页码，只能逐页浏览，但很多现代应用的分页已经采用这种方式（比如社交媒体的滚动加载）。

补充提醒 #

你当前使用的skip()+limit()方式，在数据量很大时不仅会有内存问题，还会有性能瓶颈——MongoDB需要跳过前面所有文档才能取到后面的数据。如果业务场景允许，优先考虑键集分页。

内容的提问来源于stack exchange，提问作者Cryptite