PyMongo ObjectId转Pandas字符串及解决str.strip返回NaN问题

方法1：在MongoDB查询阶段转换为字符串（推荐，大数据集最优） #

直接在查询时利用MongoDB的$toString操作符将ObjectId转换为字符串，返回的DataFrame列直接是字符串类型，无需后续转换：

from pymongo import MongoClient
import pandas as pd

client = MongoClient('your_connection_string')
db = client['your_db']
collection = db['your_collection']

# 用聚合管道转换ObjectId为字符串
pipeline = [
    {
        '$project': {
            '_id': {'$toString': '$_id'},
            'referenciaConversao': {'$toString': '$referenciaConversao'},
            # 保留其他需要的字段，格式为 '字段名': 1
            'other_field': 1
        }
    }
]

# 执行查询并构建DataFrame
cursor = collection.aggregate(pipeline)
df = pd.DataFrame(list(cursor))

# 现在可以直接使用strip
df['referenciaConversao'] = df['referenciaConversao'].str.strip()

方法2：Pandas内高效转换并处理 #

如果无法修改查询逻辑，可在Pandas中用矢量化操作转换类型后处理：

步骤1：转换ObjectId为字符串 #

注意必须将转换结果赋值回原列（Pandas方法默认返回副本）：

# 将列转换为字符串类型
df['referenciaConversao'] = df['referenciaConversao'].astype(str)

步骤2：去除空格 #

# 执行strip操作
df['referenciaConversao'] = df['referenciaConversao'].str.strip()

进阶：处理混合类型场景 #

如果列中同时存在ObjectId、字符串和缺失值，可通过apply做针对性处理（比逐行迭代高效得多）：

from bson.objectid import ObjectId

def process_col(x):
    if isinstance(x, ObjectId):
        return str(x).strip()
    elif isinstance(x, str):
        return x.strip()
    return x  # 保留缺失值或其他类型

df['referenciaConversao'] = df['referenciaConversao'].apply(process_col)

关键说明 #

• str.strip()仅对字符串类型生效，非字符串类型会返回NaN，因此必须先完成类型转换。
• 大数据集下，**方法1（数据库端转换）**性能最优，避免了Python端的逐元素处理开销；方法2的矢量化操作也远快于手动迭代。

内容的提问来源于stack exchange，提问作者FábioRB