如何为MultiIndex DataFrame添加带指定初始值的新嵌套层级

问题描述 #

需要给MultiIndex DataFrame的每个上层分组（比如示例中的l1层级各值：bar、baz、foo、qux）添加一个新的下层层级值（如new），并将对应行的所有列值初始化为None。示例效果如下：

原DataFrame（df_before） #

a   b   c   d
l1  l2                 
bar one  24  13   8   9
    two  11  30   7  23
baz one  21  31  12  30
    two   2   5  19  24
foo one  15  18   3  16
    two   2  24  28  11
qux one  23   9   6  12
    two  29  28  11  21

目标DataFrame（df_after） #

a     b     c     d
l1  l2                 
bar one     24    13     8     9
    two     11    30     7    23
    new     None  None  None  None
baz one     21    31    12    30
    two      2     5    19    24
    new     None  None  None  None
foo one     15    18     3    16
    two      2    24    28    11
    new     None  None  None  None
qux one     23     9     6    12
    two     29    28    11    21
    new     None  None  None  None

注意：实际使用的DataFrame有三个层级，希望方案能推广到更多层级。此前尝试以下代码未成功：

# 失败的尝试
new_level_values = [*list(df.index.get_level_values(2).unique()), "new"]
df.index = df.index.set_levels(levels=new_level_values, level=2)

失败原因分析 #

set_levels()仅修改索引层级的候选值集合，不会为每个上层分组实际添加新的索引行。它不会改变DataFrame的行数，只是扩展了该层级的取值范围，因此看不到新增的new行。

解决方案 #

核心思路：为每个上层索引组合生成包含新层级值的索引，创建对应空行（值为None），合并到原DataFrame后重新排序索引，保证结构整齐。

1. 两层索引场景示例代码 #

import pandas as pd

# 构造原DataFrame
data = {
    'a': [24,11,21,2,15,2,23,29],
    'b': [13,30,31,5,18,24,9,28],
    'c': [8,7,12,19,3,28,6,11],
    'd': [9,23,30,24,16,11,12,21]
}
index = pd.MultiIndex.from_tuples(
    [('bar','one'),('bar','two'),('baz','one'),('baz','two'),
     ('foo','one'),('foo','two'),('qux','one'),('qux','two')],
    names=['l1','l2']
)
df = pd.DataFrame(data, index=index)

# 生成新索引：每个l1值对应('l1值', 'new')
new_indices = [(l1_val, 'new') for l1_val in df.index.get_level_values('l1').unique()]
# 创建空行DataFrame
new_rows = pd.DataFrame(
    [[None]*len(df.columns)]*len(new_indices),
    index=pd.MultiIndex.from_tuples(new_indices, names=df.index.names),
    columns=df.columns
)

# 合并并排序索引
df_after = pd.concat([df, new_rows]).sort_index()
print(df_after)

2. 推广到N层索引（以三层为例） #

假设DataFrame有三层索引['l1','l2','l3']，要给每个(l1,l2)组合添加l3='new'的行：

# 获取前两层索引的唯一组合
upper_levels = df.index.droplevel('l3').unique()
# 生成新的三层索引：上层组合 + 'new'
new_indices = [tuple(list(upper) + ['new']) for upper in upper_levels]
# 创建空行
new_rows = pd.DataFrame(
    [[None]*len(df.columns)]*len(new_indices),
    index=pd.MultiIndex.from_tuples(new_indices, names=df.index.names),
    columns=df.columns
)
# 合并并排序
df_after = pd.concat([df, new_rows]).sort_index()

如果要在第k层添加新值，只需：

• 获取前k-1层的唯一索引组合
• 给每个组合拼接上新的层级值
• 生成对应空行后合并排序即可

关键说明 #

• concat()将新行追加到原DataFrame后，sort_index()保证每个上层分组的新行排在原有行之后，结构整齐
• 空行的默认值可按需替换（如0、NaN等），只需修改new_rows的初始化值

内容的提问来源于stack exchange，提问作者Fernando Jesus Garcia Hipola