使用Pandas实现表格转树形结构及CSV转指定结构HDF5的方法问询

Pandas本身没有内置的"一键转树形结构"函数，但我们可以通过手动构建嵌套字典，或者结合第三方库轻松实现，下面分享两种实用方法：

方法1：手动构建嵌套字典（无需额外依赖） #

如果你的表格有明确的层级列（比如Level1/Level2/Level3），可以通过遍历DataFrame生成嵌套字典，适合简单的树形结构需求。

示例代码：

import pandas as pd

# 示例表格数据
df = pd.DataFrame({
    "Level1": ["A", "A", "B"],
    "Level2": ["A1", "A2", "B1"],
    "Level3": ["A1a", "A2a", "B1a"],
    "Value": [10, 20, 30]
})

def df_to_nested_dict(df, level_columns, value_col):
    tree = {}
    for _, row in df.iterrows():
        current_node = tree
        # 遍历层级列，逐层构建嵌套
        for col in level_columns[:-1]:
            key = row[col]
            if key not in current_node:
                current_node[key] = {}
            current_node = current_node[key]
        # 最后一层绑定对应的值
        current_node[row[level_columns[-1]]] = row[value_col]
    return tree

# 生成树形字典
result_tree = df_to_nested_dict(df, ["Level1", "Level2", "Level3"], "Value")
print(result_tree)
# 输出: {'A': {'A1': {'A1a': 10}, 'A2': {'A2a': 20}}, 'B': {'B1': {'B1a': 30}}}

方法2：使用anytree生成可视化树形结构 #

如果需要可视化的树形结构（比如打印树状文本），可以用anytree库快速构建和渲染树形节点。

首先安装依赖：

pip install anytree

示例代码：

from anytree import Node, RenderTree
from anytree.exporter import DictExporter

def df_to_visual_tree(df, level_columns, value_col):
    # 创建根节点
    root = Node("Root")
    for _, row in df.iterrows():
        parent_node = root
        # 逐层创建子节点
        for col in level_columns:
            # 检查当前父节点下是否已存在该子节点，避免重复创建
            existing_child = next((c for c in parent_node.children if c.name == row[col]), None)
            if not existing_child:
                existing_child = Node(row[col], parent=parent_node)
            parent_node = existing_child
        # 添加值节点
        Node(f"{value_col}: {row[value_col]}", parent=parent_node)
    
    # 打印可视化树形结构
    print("可视化树形结构：")
    for pre, fill, node in RenderTree(root):
        print(f"{pre}{node.name}")
    
    # 也可以导出为字典格式
    exporter = DictExporter()
    return exporter.export(root)

# 生成并打印树形结构
tree_dict = df_to_visual_tree(df, ["Level1", "Level2", "Level3"], "Value")

运行后会输出类似这样的可视化结果：

可视化树形结构：
Root
├── A
│   ├── A1
│   │   └── Value: 10
│   └── A2
│       └── Value: 20
└── B
    └── B1
        └── Value: 30

当然有！Pandas本身就支持CSV和HDF5的读写，还能灵活控制HDF5的存储结构，完全不需要复杂的额外工具。下面分两种常见场景说明：

场景1：按分组存储为HDF5的不同路径（适合分类数据） #

如果你的CSV有分类列（比如Category/Subcategory），想把不同类别的数据存在HDF5的不同分组路径下，可以用HDFStore实现：

示例代码：

import pandas as pd

# 读取CSV文件（假设你的CSV有Category/Subcategory/Product/Price列）
df = pd.read_csv("products.csv")

# 打开HDF5文件，按分组写入
with pd.HDFStore("products.h5") as store:
    # 按Category和Subcategory分组
    for (category, subcategory), group in df.groupby(["Category", "Subcategory"]):
        # 定义HDF5中的存储路径，比如/Electronics/Phones
        store_key = f"/{category}/{subcategory}"
        # 写入分组数据，去掉已用作路径的分类列
        store[store_key] = group.drop(["Category", "Subcategory"], axis=1)

之后你可以这样读取指定分组的数据：

with pd.HDFStore("products.h5") as store:
    phones_data = store["/Electronics/Phones"]
    print(phones_data)

场景2：将整个表格存储为单一结构（含压缩和查询支持） #

如果不需要分组，只是想把CSV转成HDF5并优化存储，可以用df.to_hdf()方法，还能设置压缩和存储格式：

示例代码：

# 读取CSV，注意如果有日期列要指定parse_dates确保类型正确
df = pd.read_csv("sales.csv", parse_dates=["SaleDate"])

# 保存为HDF5，指定存储格式和压缩
df.to_hdf(
    "sales.h5",
    key="/sales_data",
    format="table",  # table格式支持后续查询，fixed格式读写更快
    complib="zlib",  # 压缩库，可选zlib/bz2等
    complevel=5      # 压缩级别，1-9，越高压缩率越大
)

关键参数说明： #

• format="table"：支持用pd.read_hdf()的where参数进行条件查询，适合大数据筛选；
• format="fixed"：读写速度更快，但不支持查询，适合只需要批量读写的场景；
• complib和complevel：开启压缩可以大幅减少HDF5文件大小，不影响数据完整性。

内容的提问来源于stack exchange，提问作者Artur Müller Romanov