如何将DataFrame数据转换为行和列均为MultiIndex的DataFrame？

你完全不需要遍历行来完成这个需求，Pandas内置了一系列高效的重塑函数，比如pivot_table、groupby+unstack，可以轻松实现转换，性能比手动遍历提升几个量级。

先给你完整的实现方案，再一步步拆解逻辑：

步骤1：还原原始数据 #

首先我们把你给出的示例数据转换成标准的DataFrame：

import pandas as pd

# 你的原始示例数据
data = [
    ["foo", "two", "A", 2.30, 0.01],
    ["foo", "one", "A", 4.12, 0.13],
    ["bar", "two", "B", 9.89, 3.66],
    ["foo", "one", "A", 2.11, 9.48],
    ["bar", "two", "A", 1.07, 5.55]
]
df = pd.DataFrame(data, columns=["g1", "g2", "category", "val1", "val2"])

方法一：用pivot_table实现（推荐，适配重复分组） #

这个方法逻辑直观，能很好处理你示例中存在的重复分组（比如foo-one-A出现了两次）：

# 1. 先把数值列(val1/val2)重塑为行，方便后续透视
melted_df = df.melt(
    id_vars=["g1", "g2", "category"],  # 保留作为分组依据的列
    value_vars=["val1", "val2"],       # 需要展开的数值列
    var_name="sub_col",                # 标记当前数值来自val1还是val2
    value_name="value"                 # 存储数值的列名
)

# 2. 把sub_col的val1/val2替换成目标格式中的1/2
melted_df["sub_col"] = melted_df["sub_col"].map({"val1": 1, "val2": 2})

# 3. 透视生成双MultiIndex结构，用last处理重复分组（可替换为sum/mean等聚合逻辑）
result = melted_df.pivot_table(
    index=["g1", "g2"],                # 行级MultiIndex
    columns=["category", "sub_col"],   # 列级MultiIndex
    values="value",
    aggfunc="last"                     # 重复分组时取最后一行的值
)

# 4. 可选：调整行索引顺序，和你的示例完全对齐
result = result.reindex(["foo", "bar"], level="g1").reindex(["one", "two"], level="g2")

运行后得到的result就是你想要的结构：

A           B      
            1     2     1     2
g1  g2                        
foo one  2.11  9.48   NaN   NaN
    two  2.30  0.01   NaN   NaN
bar one   NaN   NaN   NaN   NaN
    two  1.07  5.55  9.89  3.66

方法二：groupby+unstack实现（更简洁，适合无重复数据） #

如果你的数据没有重复分组，或者已经提前处理了重复项，可以用这种更简洁的写法：

# 1. 按行分组聚合（这里用last处理重复，按需替换聚合逻辑）
grouped = df.groupby(["g1", "g2", "category"]).last()

# 2. 把category从行索引转到列索引，交换列层级并排序
result = grouped.unstack("category").swaplevel(0, 1, axis=1).sort_index(axis=1)

# 3. 把列的val1/val2替换成1/2
result.columns = result.columns.set_levels([1, 2], level=1)

# 4. 调整行索引顺序
result = result.reindex(["foo", "bar"], level="g1").reindex(["one", "two"], level="g2")

为什么这些方法比遍历高效？ #

Pandas的内置函数都是基于C语言实现的底层操作，避免了Python层面的循环开销。当数据量较大时，手动遍历的时间复杂度是O(n)，而这些内置方法的时间复杂度更接近O(log n)，处理百万级数据也能快速完成。

内容的提问来源于stack exchange，提问作者tog