基于多级表头将Pandas DataFrame转换为嵌套字典的方法问询

嘿，我完全懂你的痛点——用Pandas处理这种带表名/列名格式的表头时，自带的方法要么输出不符合预期，要么额外开销大，尤其是处理大文件的时候简直头疼。其实不用非得依赖Pandas，用Python标准库的csv模块就能高效解决，而且逻辑直白，没多余麻烦。

核心思路 #

我们直接从CSV的原始表头出发，把每个表名/列名格式的键拆分成两层结构，逐行构建嵌套字典。这种方法是流式处理，不会一次性把整个文件加载到内存，特别适合大文件场景。

代码实现 #

首先写一个小函数，把单行的扁平字典（从csv.DictReader拿到的）转换成你要的嵌套结构：

def flatten_to_nested(flat_row):
    nested_dict = {}
    for full_key, value in flat_row.items():
        # 只分割一次，避免列名里包含斜杠的情况出错
        table_name, col_name = full_key.split('/', 1)
        # 如果表名还没在嵌套字典里，先初始化空字典
        if table_name not in nested_dict:
            nested_dict[table_name] = {}
        # 把列值对应到对应的表下
        nested_dict[table_name][col_name] = value
    return nested_dict

然后用csv.DictReader逐行读取文件并转换：

import csv

# 存储最终的嵌套字典列表
nested_records = []

with open('your_data.csv', 'r', encoding='utf-8') as csv_file:
    # DictReader会自动把第一行作为表头，每一行返回一个扁平字典
    reader = csv.DictReader(csv_file)
    for row in reader:
        nested_records.append(flatten_to_nested(row))

为什么这个方法更好？ #

• 内存高效：csv.DictReader是逐行读取处理，不会像Pandas那样把整个数据集加载到内存，大文件处理毫无压力。
• 无额外转换开销：直接从原始表头构建嵌套结构，不用先转成DataFrame再做二次处理（比如处理元组键、数字索引这些麻烦事）。
• 鲁棒性强：用split('/', 1)只分割一次，就算你的列名里不小心包含了斜杠，也不会把列名拆坏。

举个例子，如果你的CSV第一行是user/username,user/email,address/country，某一行数据是john_doe,john@example.com,Canada，转换后得到的嵌套字典就是：

{
    "user": {
        "username": "john_doe",
        "email": "john@example.com"
    },
    "address": {
        "country": "Canada"
    }
}

完全符合你的需求，而且全程逻辑清晰，没有多余的步骤~

内容的提问来源于stack exchange，提问作者Стефан Цолић