如何将DataFrame转换为BSON文件并生成ObjectId？

直接绕开JSON转换步骤，利用bson库直接处理Python字典（保留ObjectId类型）是最可靠的方案，以下是具体实现：

方法1：手动添加ObjectId并序列化 #

1. 先将DataFrame转为字典列表（每条记录对应一个字典）
2. 为每条记录生成ObjectId并赋值给_id字段
3. 使用bson.encode()直接将字典列表序列化为BSON字节写入文件

import pandas as pd
import bson
import fundamentos

# 从fundamentos提取数据得到DataFrame
df = fundamentos.your_extraction_method()  # 替换为实际的方法名

# 转换为字典列表
records = df.to_dict('records')

# 为每条记录添加ObjectId类型的_id
for record in records:
    record['_id'] = bson.ObjectId()

# 写入BSON文件
with open('output.bson', 'wb') as file:
    bson.encode(records, file)

方法2：利用pandas Apply批量生成ObjectId #

如果需要在DataFrame阶段就添加_id字段，可以用apply批量生成：

import pandas as pd
import bson
import fundamentos

df = fundamentos.your_extraction_method()

# 为DataFrame添加_id列，值为ObjectId类型
df['_id'] = df.apply(lambda _: bson.ObjectId(), axis=1)

# 转为字典列表后序列化
records = df.to_dict('records')
with open('output.bson', 'wb') as file:
    bson.encode(records, file)

为什么之前的JSON转BSON方法不行？ #

JSON格式本身不支持MongoDB的ObjectId类型，转换时会将其转为字符串（比如"$oid": "60d21b4667d0d8992e610c85"），再转回BSON时无法自动还原为原生的ObjectId类型，必须直接操作Python对象并通过bson库序列化才能保留类型信息。

注意事项 #

• 确保已安装依赖库：执行pip install pymongo（pymongo内置bson模块）或pip install bson
• 如果需要生成符合MongoDB单个文档存储的BSON文件（每个文档单独序列化），可以循环写入每条记录：

  with open('output_single_docs.bson', 'wb') as file:
      for record in records:
          record['_id'] = bson.ObjectId()
          file.write(bson.encode(record))
  

内容的提问来源于stack exchange，提问作者Gustavo Figueiredo