Pandas多层索引场景下高效执行依赖索引值的减法运算方案

核心思路是抛弃逐行操作，用pandas向量化广播运算实现，全程无Python层循环，800万行数据可在秒级完成计算。

实现步骤 #

1. 提取d=value0的基准数据，过滤掉仅用于value1的r索引，保留所有公共索引维度
2. 提取d=value1的待计算数据集
3. 按公共索引对齐后直接批量做减法运算
4. 将结果批量写回原数据框对应位置

演示场景（3层索引d/y/r）代码 #

import pandas as pd

# 要计算差值的变量列表
calc_vars = ['string0', 'string2']

# 提取value0基准数据，公共索引仅为y
v0_base = df.xs('value0', level='d').xs('O', level='r')[calc_vars]
# 筛选d=value1的所有行
v1_mask = df.index.get_level_values('d') == 'value1'
v1_data = df.loc[v1_mask, calc_vars]

# 按y索引对齐后相减，v0会自动广播匹配v1的所有同y值行
diff_result = v0_base.reindex(v1_data.index.get_level_values('y')).to_numpy() - v1_data.to_numpy()

# 结果写回原df
df.loc[v1_mask, [f'd{var}' for var in calc_vars]] = diff_result

实际场景（5层索引d/y/b/r/a）代码 #

calc_vars = ['string0', 'string2']

# 提取value0基准数据，保留公共索引y、b、a
v0_base = df.xs('value0', level='d').xs('O', level='r')[calc_vars]
# 筛选d=value1的所有行
v1_mask = df.index.get_level_values('d') == 'value1'
v1_data = df.loc[v1_mask, calc_vars]

# 获取v1的公共索引组合，对齐v0基准值
v1_common_idx = v1_data.index.droplevel(['d', 'r'])
diff_result = v0_base.reindex(v1_common_idx).to_numpy() - v1_data.to_numpy()

# 结果写回原df
df.loc[v1_mask, [f'd{var}' for var in calc_vars]] = diff_result

性能说明 #

• 所有运算均为numpy层面的向量化操作，比逐行apply/遍历快100~1000倍
• 手动reindex保证顺序一致后直接用numpy数组运算，避免pandas索引对齐的额外开销
• 若确认value0中所有(y,b,a)组合无缺失，可删除reindex调用进一步提升速度

内容的提问来源于stack exchange，提问作者lescaster