pandas DataFrame导出用于MongoDB的JSON时如何保留原datetime格式并去空字段

核心问题处理逻辑 #

• 解决datetime转epoch戳：通过指定序列化规则，强制输出ISO格式的日期字符串，而非默认的毫秒级时间戳
• 过滤空字段：导出前先剔除顶层、嵌套结构中所有值为NaN/None的字段，避免输出null值
• 适配MongoDB：ISO格式的日期字符串可直接在导入时转换为BSON原生日期类型，完整保留格式

具体实现步骤 #

步骤1：预处理嵌套结构中的datetime值 #

你的datetime列是列表套字典的嵌套结构，pandas默认无法识别内部的datetime对象，需提前统一转成ISO格式字符串，同时剔除嵌套层的空值：

import pandas as pd
from datetime import datetime

def preprocess_nested_datetime(val):
    # 跳过顶层NaN空值
    if pd.isna(val):
        return None
    processed = []
    for item in val:
        processed_item = {}
        for k, v in item.items():
            # 跳过嵌套层的空值字段
            if pd.isna(v):
                continue
            if isinstance(v, datetime):
                processed_item[k] = v.isoformat()
            else:
                processed_item[k] = v
        # 仅保留非空的字典项
        if processed_item:
            processed.append(processed_item)
    # 若处理后列表为空，返回None
    return processed if processed else None

# 应用预处理到datetime列
df['datetime'] = df['datetime'].apply(preprocess_nested_datetime)

步骤2：过滤顶层空字段并导出JSON #

替代原代码手动拼接字符串的逻辑，使用内置json模块序列化，稳定性更高，同时自动剔除顶层空字段：

import json

json_records = []
for _, row in df.iterrows():
    # 剔除当前行中值为None/NaN的顶层字段
    row_dict = {k: v for k, v in row.items() if not pd.isna(v)}
    json_records.append(row_dict)

# 写入JSON文件
with open('jsonresult.json', 'w', encoding='utf-8') as f:
    json.dump(json_records, f, ensure_ascii=False, indent=2)

步骤3：上传MongoDB时保留原生日期类型 #

如果希望MongoDB存储BSON原生Date类型（而非普通字符串），可在导入时将ISO格式字符串转回datetime对象再插入：

from pymongo import MongoClient

# 连接MongoDB
client = MongoClient('mongodb://localhost:27017/')
db = client['你的数据库名']
col = db['你的集合名']

for record in json_records:
    # 处理嵌套的日期字符串转换
    if 'datetime' in record:
        for item in record['datetime']:
            for k, v in item.items():
                # 匹配ISO格式日期字符串并转换
                if isinstance(v, str) and 'T' in v:
                    item[k] = datetime.fromisoformat(v)
    col.insert_one(record)

补充说明 #

原代码中手动拼接JSON字符串的写法容易出现格式错误，优先使用Python内置的json模块做序列化。

• 如果DataFrame没有嵌套结构，仅普通列包含datetime，无需提前预处理，直接调用df.to_json(date_format='iso')即可避免转成epoch戳
• 过滤逻辑会自动剔除所有层级的空值字段，不会输出任何null内容
• ISO格式的日期字符串完全兼容MongoDB的日期类型转换，不会出现格式丢失问题

内容的提问来源于stack exchange，提问作者snow