Pandas：为多层索引列高效应用不同函数的简洁方法

问题背景 #

拥有多层索引DataFrame，需基于现有列生成新列，但仅少数叶层级需要特殊计算逻辑，其余大部分层级逻辑一致。原实现需手动为每个层级定义逻辑，效率低下，寻求简洁方案。

初始数据与目标 #

初始DataFrame：

import pandas as pd
from io import StringIO

testdata = """
level1,level2,value1,value2
root1,child1,10,20
root1,child2,30,40
root1,child3,50,60
root1,child4,70,80
root1,child5,90,100
"""

df = pd.read_csv(StringIO(testdata), index_col=[0,1], header=[0])

目标生成derived列：

• 多数层级（child1/child2/child3）：value1 + value2
• 特例层级child4：固定值0.0
• 特例层级child5：value1 * value2

优化实现 #

无需来回执行unstack/stack操作，直接在原多层索引上操作：先统一应用通用逻辑，再单独覆盖特例：

# 第一步：给所有层级设置通用计算逻辑
df['derived'] = df['value1'] + df['value2']

# 第二步：单独处理特例层级
df.loc[('root1', 'child4'), 'derived'] = 0.0
df.loc[('root1', 'child5'), 'derived'] = df.loc[('root1', 'child5'), 'value1'] * df.loc[('root1', 'child5'), 'value2']

# 查看结果
print(df)

输出结果 #

value1  value2  derived
level1 level2
root1   child1      10      20     30.0
       child2      30      40     70.0
       child3      50      60    110.0
       child4      70      80      0.0
       child5      90     100   9000.0

扩展说明 #

若存在大量特例层级，可通过字典映射规则批量处理，代码可维护性更强：

# 定义特例规则：键为层级元组，值为固定值或计算函数
special_cases = {
    ('root1', 'child4'): 0.0,
    ('root1', 'child5'): lambda row: row['value1'] * row['value2']
}

# 通用逻辑初始化
df['derived'] = df['value1'] + df['value2']

# 批量处理特例
for idx, rule in special_cases.items():
    if callable(rule):
        df.loc[idx, 'derived'] = rule(df.loc[idx])
    else:
        df.loc[idx, 'derived'] = rule

内容的提问来源于stack exchange，提问作者user1848244