如何从MongoEngine查询结果中高效创建Pandas DataFrame？

你当前的实现需要将MongoEngine查询结果先序列化为JSON字符串，再反序列化为Python字典才可以传入json_normalize，中间确实存在不必要的序列化/反序列开销，有以下两种更优的实现方式：

• 方案1：兼容嵌套字段场景的通用方案
  无需经过JSON转换，直接使用MongoEngine内置的as_pymongo()方法获取原生Python字典格式的文档数据，直接传入json_normalize即可：

from pandas import json_normalize

# 直接获取字典格式的查询结果，跳过JSON序列化/反序列化步骤
queryset = DocumentClass.objects(some_field=some_value)
dict_data = list(queryset.as_pymongo())
df = json_normalize(dict_data)

该方案输出结果与你原有实现完全一致，性能提升明显，同时会保留ObjectId、DateTime等MongoDB特殊字段的原生Python类型，不会出现JSON序列化导致的类型丢失问题。

• 方案2：扁平文档场景的极简方案
  如果你的文档结构没有嵌套字段，不需要json_normalize做字段打平，可以直接构造DataFrame，进一步降低开销：

import pandas as pd

queryset = DocumentClass.objects(some_field=some_value)
df = pd.DataFrame(list(queryset.as_pymongo()))

内容的提问来源于stack exchange，提问作者Akalanka Weerasooriya