插入pandas多级索引DataFrame到MongoDB报InvalidDocument错误怎么办

你触发报错的核心原因是带有MultiIndex多级列索引的DataFrame调用to_dict('records')时，生成的字典键是多级索引组成的元组类型，而不是字符串类型。即使元组内部的元素都是字符串，MongoDB也强制要求文档的键必须为字符串类型，因此会抛出InvalidDocument错误。

你可以根据你想要存储的结构选择以下两种处理方式：

方案1：将多级列名打平为单级字符串（最简单） #

直接把多级列索引的各层级用分隔符拼接为单个字符串作为新的列名，处理后直接插入即可：

# 用下划线拼接多级列名，生成单级字符串列名
df.columns = ['_'.join(col) for col in df.columns.values]
# 处理后再执行插入操作即可正常运行
collection.insert_many(df.to_dict('records'))

处理后的列名会变为data_F、data1_K，完全符合MongoDB的键类型要求，后续查询时直接使用拼接后的字符串作为字段名即可。

方案2：将多级索引转换为嵌套文档结构（保留层级关系） #

如果你希望保留原有多级索引的层级结构，可以把同属一个一级索引的二级字段放在同一个嵌套文档中：

# 构造符合嵌套结构的文档列表
records = []
for _, row in df.iterrows():
    doc = {}
    for (level1_key, level2_key), value in row.items():
        if level1_key not in doc:
            doc[level1_key] = {}
        doc[level1_key][level2_key] = value
    records.append(doc)
# 插入处理后的嵌套文档
collection.insert_many(records)

处理后每条文档的结构为{"data": {"F": 2}, "data1": {"K": 3}}，和原有的多级索引层级对应，后续查询时可以用data.F这类嵌套字段语法进行查询。

内容的提问来源于stack exchange，提问作者Alexander