Pymongo Cursor转Dataframe耗时过长，求高效转换方法

问题描述 #

我用MongoDB存储数据，查询后得到PyMongo Cursor类型结果，转换为DataFrame时速度极慢——哪怕只处理1条数据都要2-4秒。目前试过两种转换方法：

import pymongo
import pandas as pd
import numpy as np
from pymongo import MongoClient

client=MongoClient("Server Connection String", username = 'username', password='password')

db=client["DB_Name"]
collection=db['Table_Name']

data=collection.find({}).limit(1)

# 方法1：通过map+numpy中转
my_data = list(map(lambda x: list(x.values()), data))
result = np.array(my_data)
df = pd.DataFrame(result)

# 方法2：直接转list生成DataFrame
df=pd.DataFrame(list(data))

现有方法慢的原因 #

• 方法1多了map和numpy.array两层中间转换，平白增加了数据处理开销；
• 方法2虽然简洁，但Cursor是惰性迭代对象，转list时会一次性加载所有数据到内存，而且Cursor只能被遍历一次——原代码里方法1已经把data遍历完了，方法2再调用时data是空的，你测试时应该是分开运行的，但这里容易混淆“查询耗时”和“转换耗时”；
• 很多时候你觉得是转换慢，其实是数据库查询（比如无索引扫描）、网络连接的延迟被算到转换环节里了。

更快的转换方案 #

1. 先做字段投影，减少数据量 #

如果不需要文档的所有字段，查询时就指定要提取的字段，能大幅减少Cursor里的数据体积：

# 只取需要的字段，比如name和age，排除_id（可选）
data = collection.find({}, {"name": 1, "age": 1, "_id": 0}).limit(1)
df = pd.DataFrame(data)

2. 用cursor.to_list()替代原生list转换 #

PyMongo的Cursor自带to_list()方法，可以指定批量大小，比直接转原生list更高效，单条数据时指定length=1即可：

df = pd.DataFrame(data.to_list(length=1))

3. 简化自定义字段的转换逻辑 #

如果需要提取文档值并自定义列名，直接用列表推导式，跳过numpy的中转：

# 先取第一条文档的键作为列名，再提取所有值
docs = list(data)
if docs:
    df = pd.DataFrame([list(doc.values()) for doc in docs], columns=list(docs[0].keys()))

4. 排查非转换环节的延迟 #

如果单条数据转换还是慢，先排除以下因素：

• 网络延迟：在本地MongoDB测试，看是否还是慢；
• 查询效率：检查查询语句有没有走索引，MongoDB端的查询耗时才是大头；
• 连接复用：不要每次查询都新建MongoClient，复用连接能减少初始化开销。

内容的提问来源于stack exchange，提问作者Pooja Bhateley