如何优化MongoDB记录转换为pandas DataFrame的耗时

MongoDB转pandas DataFrame耗时优化方案 #

1. 限制返回字段，减少冗余数据传输 #

默认collection.find()会拉取文档的全部字段，若仅需部分字段，通过投影参数指定返回字段，可大幅降低数据传输和序列化开销，示例：

# 投影参数：键为字段名，1表示返回，0表示排除；不需要_id可显式关闭
cursor = collection.find({}, {"_id": 0, "需要的字段1": 1, "需要的字段2": 1})
df = pd.DataFrame(list(cursor))

如果确实需要全字段可跳过该步骤，否则通常可降低30%~80%的耗时。

2. 用pymongoarrow直接完成BSON到DataFrame的转换 #

原生写法需要先把Mongo返回的BSON数据反序列化为Python字典，再转DataFrame，存在两次序列化的冗余开销。可以用pymongoarrow直接跳过Python字典的中间步骤，批量完成转换，性能提升非常明显：
首先安装依赖：

pip install pymongoarrow pandas pymongo

使用示例：

from pymongoarrow.api import find_pandas_all

db = conn.db
collection = db.collection_name
# 可搭配投影参数使用，排除不需要的字段
df = find_pandas_all(collection, {}, projection={"_id": 0, "需要的字段1": 1, "需要的字段2": 1})

3万条数据用该方案通常可将耗时压缩到2秒以内。

3. 服务端查询优化 #

如果find()带有查询过滤条件，给对应的过滤字段创建索引，避免MongoDB全表扫描，可大幅降低服务端查询耗时。

4. 调整批量拉取大小 #

如果不想额外安装依赖，可以调整Cursor的batch_size参数，修改单次网络请求返回的文档数量，减少网络来回次数：

# 可根据自身网络环境调整数值，建议设置为500~2000区间
cursor = collection.find().batch_size(1000)
df = pd.DataFrame(list(cursor))

注意事项 #

• 若文档包含嵌套结构，转DataFrame时会自动展开嵌套字段，耗时会明显升高，不需要的嵌套字段可直接在投影中排除。
• 不要通过循环逐条读取Cursor中的文档，会大幅增加额外开销。

内容的提问来源于stack exchange，提问作者behappy