使用Pymongo导出MongoDB为CSV时键值缺失、字段错位问题求解

问题根因 #

• 写入逻辑错误：原有代码遍历数据自身的键值对按其存储顺序写入，没有按固定表头顺序匹配取值，键顺序变化就会错位
• 键名拼写不匹配：数据库存储的厂商标识键为Vendror，你定义的表头为Vendor，匹配失败导致字段错位
• 缺失根字段映射：你没有将文档根层级的_id写入每一行device对应的条目

正确实现方案 #

推荐使用Python标准库csv处理，自动处理逗号转义、字段对齐，性能也适合百万级数据量，代码示例如下：

import csv

def export_to_csv(fn, timeframe):
    # 注意和数据库实际键名保持一致，如果需要表头显示Vendor可以替换为下方注释的自定义表头
    headers = ['_id', 'Chanel', 'Vendror', 'first_seen', 'last_seen']
    # display_headers = ['_id', 'Chanel', 'Vendor', 'first_seen', 'last_seen']
    
    with open(fn, 'w', encoding='utf-8', newline='') as f:
        writer = csv.DictWriter(f, fieldnames=headers, restval='N/A', extrasaction='ignore')
        # 写表头，使用自定义显示表头时传入display_headers即可
        writer.writeheader()
        
        for batch in timeframe:
            doc_id = batch['_id']
            for device_item in batch['device']:
                # 把当前文档的_id补充到device条目中
                device_item['_id'] = doc_id
                # 自动按headers顺序写入，不存在的键自动填N/A，多余键直接忽略
                writer.writerow(device_item)
    return fn

关键参数说明 #

• restval='N/A'：所有在fieldnames中存在、但数据字典里缺失的键，自动填充N/A
• extrasaction='ignore'：数据里多出表头范围的键直接忽略，不会报错也不会写入
• newline=''：Windows环境下避免CSV出现多余空行
• 不需要手动处理逗号转义，csv模块会自动处理特殊字符

Pandas方案适配（如果偏好Pandas） #

之前转换报错是因为没有规整结构，正确处理方式如下：

import pandas as pd

all_records = []
for batch in timeframe:
    doc_id = batch['_id']
    for device_item in batch['device']:
        device_item['_id'] = doc_id
        all_records.append(device_item)

df = pd.DataFrame(all_records)
# 按指定顺序排列字段，缺失字段自动填充N/A
df = df.reindex(columns=['_id', 'Chanel', 'Vendror', 'first_seen', 'last_seen'], fill_value='N/A')
df.to_csv(fn, index=False, encoding='utf-8')

内容的提问来源于stack exchange，提问作者Kain_D