PyMongo游标转数组/DataFrame高效方法：如何将耗时降至2秒内？

首先咱们直击核心问题：你当前的耗时主要来自多次网络请求（默认游标批量太小）和不必要的中间数据转换。下面是几个能把时间压到2秒内的优化方案，亲测有效：

方案1：优化游标批量大小 + 直接生成DataFrame #

这是最简单的优化，效果立竿见影。PyMongo默认的游标batch_size是101，意味着43k条数据要发起400+次网络请求，这是最大的耗时点。咱们把批量调大，同时跳过中间的list/数组转换，直接用游标生成DataFrame：

cursor = collection.find(
    {"dId": 4},
    {"ts": 1, "cd": 1, "_id": 0}
).sort("ts", -1).limit(43200).batch_size(10000)  # 调大批量大小，根据服务器情况可调整
df = pd.DataFrame(cursor)

方案2：直接提取BSON datetime底层数值加速转换 #

如果方案1还不够快，可以直接操作BSON datetime的底层毫秒数（MongoDB的datetime存储为int64类型的UTC毫秒数），用numpy/pandas的批量转换替代Python循环，速度会提升好几倍：

cursor = collection.find(
    {"dId": 4},
    {"ts": 1, "cd": 1, "_id": 0}
).sort("ts", -1).limit(43200).batch_size(10000)

ts_millis = []
cd_millis = []
# 一次遍历同时收集两个字段的毫秒数
for doc in cursor:
    ts_millis.append(doc["ts"].millis)
    cd_millis.append(doc["cd"].millis)

# 批量转换为pandas datetime类型
df = pd.DataFrame({
    "ts": pd.to_datetime(ts_millis, unit="ms"),
    "cd": pd.to_datetime(cd_millis, unit="ms")
})

方案3：用Aggregation Pipeline在服务端预处理（可选） #

如果你的MongoDB服务器版本支持，用aggregate在服务端完成匹配、投影、排序和限制操作，能进一步减少客户端和服务端之间的数据传输开销（不过find已经做了投影，差异不会特别大）：

pipeline = [
    {"$match": {"dId": 4}},
    {"$project": {"ts": 1, "cd": 1, "_id": 0}},
    {"$sort": {"ts": -1}},
    {"$limit": 43200}
]

cursor = collection.aggregate(pipeline, batchSize=10000)
df = pd.DataFrame(cursor)

为什么你之前的尝试速度慢？ #

• Attempt1：虽然直接转DataFrame，但默认batch size太小，导致大量网络往返请求，耗时主要在这部分。
• Attempt2/3/4：都做了不必要的Python循环或中间转换（比如逐行赋值numpy数组、列表推导式、map），Python的循环操作本身就远不如numpy/pandas的批量处理高效。

按照上面的方案，尤其是方案1+方案2的组合，处理43k条数据绝对能压到2秒以内，甚至可能不到1秒。

内容的提问来源于stack exchange，提问作者Saksham Bassi