如何通过MongoEngine直接将Pandas DataFrame插入MongoDB？

你现有如下Pandas DataFrame：

illustration:           date    contents
            0   2022-04-20      lorem ipsum
            1   2023-04-20      lorem ipsum 

以及MongoEngine模型：

import mongoengine
from datetime import datetime

class Doc(mongoengine.Document):
    date = mongoengine.DateField(default=datetime.now)
    contents = mongoengine.StringField(default="")
    meta = {
        'db_alias': 'core',
        'collection': 'some_collection'
    }

当前你通过将DataFrame转为二维列表后循环创建Doc对象插入，虽然可行，但希望找到无需列表转换的更优方案。

方法1：利用to_dict('records')生成字典列表 + MongoEngine批量插入 #

Pandas的DataFrame.to_dict('records')可以直接生成与MongoEngine字段映射的字典列表，无需手动转二维列表，再通过MongoEngine的objects.insert()批量插入，效率比循环逐个创建对象更高。

注意：需要确保DataFrame中date列的类型是datetime.date（或可被MongoEngine DateField解析的类型），如果是字符串类型，需要先转换。

示例代码：

import pandas as pd
from datetime import datetime

# 处理date列类型（如果原数据是字符串）
df['date'] = pd.to_datetime(df['date']).dt.date

# 生成字典列表
doc_records = df.to_dict('records')

# 批量插入
Doc.objects.insert([Doc(**record) for record in doc_records])

方法2：直接调用PyMongo的insert_many（性能最优） #

MongoEngine的Document类可以通过_get_collection()获取底层的PyMongo集合对象，直接使用PyMongo的insert_many方法插入字典列表，完全绕开MongoEngine的对象实例化开销，是性能最高的方案。

同样需要确保字段类型与MongoEngine模型匹配：

示例代码：

# 处理date列类型
df['date'] = pd.to_datetime(df['date']).dt.date

# 生成字典列表
doc_records = df.to_dict('records')

# 获取PyMongo集合
collection = Doc._get_collection()

# 批量插入
collection.insert_many(doc_records)

注意事项 #

• 两种方法都依赖DataFrame的列名与MongoEngine模型的字段名完全一致，否则需要先重命名DataFrame的列。
• 若DataFrame中存在模型未定义的字段，插入时会被MongoEngine（方法1）或MongoDB（方法2）忽略，具体取决于你的MongoDB配置。

内容的提问来源于stack exchange，提问作者rubhemaju