MongoDB执行aggregate时如何跳过大小超过16MB的BSON文档

AI 小北

2026-9-30

解决方案

方法1：使用`$bsonSize`预过滤（适用MongoDB 4.4及以上版本）

这是最高效的方案，将BSON大小校验作为聚合的第一个执行阶段，直接在扫描阶段跳过大小超过阈值的文档，不会触发后续的BSON超限校验报错。
你可以将现有聚合语句修改为如下形式：

随机采样版本：

documents = collection.aggregate(
    [
        # 过滤所有BSON大小超过16MB（16793600字节）的文档
        {"$match": {"$expr": {"$lte": [{"$bsonSize": "$$ROOT"}, 16793600]}}},
        {"$sample": {"size": sample_size}}
    ], 
    allowDiskUse=True
)

固定条数limit版本：

documents = collection.aggregate(
    [
        {"$match": {"$expr": {"$lte": [{"$bsonSize": "$$ROOT"}, 16793600]}}},
        {"$limit": sample_size}
    ], 
    allowDiskUse=True
)

你也可以根据需求调整$lte后的阈值数值，自定义要跳过的文档大小。

方法2：游标遍历+异常捕获（适用MongoDB 4.4以下版本）

如果你的数据库版本不支持$bsonSize运算符，可以用逐行遍历游标+捕获超限异常的方式跳过异常文档：

from pymongo.errors import OperationFailure

valid_docs = []
cursor = collection.find({})
collected = 0

while collected < sample_size:
    try:
        current_doc = next(cursor)
        valid_docs.append(current_doc)
        collected += 1
    except OperationFailure as e:
        err_msg = str(e)
        # 仅跳过BSON大小超限的异常
        if "BSONObj size" in err_msg and "is invalid" in err_msg:
            continue
        # 其他类型异常正常抛出
        raise e