如何用PyMongo快速从远程Atlas千万级库随机抽取800-2000条文档？

针对你从1000万条文档中重复抽取800-2000条随机文档时，使用$sample聚合耗时过长的问题，以下是几个更高效的替代方案：

方案一：利用默认_id的随机性查询 #

MongoDB默认的_id包含时间戳和随机字节段，具备天然随机性。我们可以生成随机_id范围并借助默认的_id索引快速查询：

import random
from bson.objectid import ObjectId
import time

def generate_random_objectids(num):
    # 生成指定数量的随机ObjectId
    random_ids = []
    # 基于过去一年到现在的时间范围生成基础时间戳
    start_ts = int(time.time()) - 365*24*3600
    end_ts = int(time.time())
    
    for _ in range(num * 2):  # 多生成一些避免数量不足
        rand_ts = random.randint(start_ts, end_ts)
        # 生成随机字节段补全ObjectId
        rand_bytes = random.getrandbits(64).to_bytes(8, byteorder='big')
        base_id = ObjectId.from_datetime(time.datetime.fromtimestamp(rand_ts))[:4]
        random_ids.append(base_id + rand_bytes)
    return random_ids

load = random.randint(800, 2000)
random_ids = generate_random_objectids(load)
# 批量查询匹配的文档
random_profiles = list(profiles.find({"_id": {"$in": random_ids}}))

# 若数量不足则补充查询
while len(random_profiles) < load:
    extra_ids = generate_random_objectids(load - len(random_profiles))
    random_profiles.extend(list(profiles.find({"_id": {"$in": extra_ids}})))

# 最终截取到目标数量
random_profiles = random_profiles[:load]

这种方法依赖默认索引，查询速度极快，网络传输数据量可控，无需额外预处理。

方案二：预存随机分数字段（高频抽取首选） #

给每个文档添加一个random_score字段（范围0-1）并创建索引，后续通过索引快速定位随机范围的文档：

预处理（仅需执行一次） #

# 给所有文档添加随机分数字段
profiles.update_many({}, [{"$set": {"random_score": {"$rand": {}}}}])
# 创建单字段索引
profiles.create_index("random_score")

日常抽取代码 #

import random

load = random.randint(800, 2000)
start_rand = random.random()
# 设定随机范围查询文档（范围大小可根据集合总数调整）
query_range = 0.0002
random_profiles = list(profiles.find(
    {"random_score": {"$gte": start_rand, "$lt": start_rand + query_range}}
))

# 若范围内容量不足，从集合开头补充
if len(random_profiles) < load:
    extra_docs = list(profiles.find(
        {"random_score": {"$lt": start_rand}}
    ).limit(load - len(random_profiles)))
    random_profiles.extend(extra_docs)

# 打乱并截取目标数量
random.shuffle(random_profiles)
random_profiles = random_profiles[:load]

此方案查询速度最快，适合频繁抽取随机样本的场景，仅需一次预处理，占用少量额外存储。

方案对比 #

内容的提问来源于stack exchange，提问作者pdpyo