pandas多级列DataFrame批量创建x与y差值列的更优实现方法

存在通用的批量操作方法，无需逐组编写重复赋值逻辑，无论一级列分组数量有多少，核心运算逻辑仅需编写一次即可适配。

高性能向量化实现 #

核心思路是跳过逐组取值的循环逻辑，直接按二级列层级跨所有分组批量提取x、y列，通过矩阵运算一次性得到全部分组的diff结果，再拼接回原DataFrame，运行效率远高于逐组赋值。

import pandas as pd

# 1. 跨所有一级分组，批量提取全部x列、y列，列索引与一级分组一一对应
x_all = df.xs('x', axis=1, level=1)
y_all = df.xs('y', axis=1, level=1)

# 2. 批量计算每个分组下的x与y的差值
diff_all = x_all - y_all

# 3. 为diff结果构造匹配原结构的多级列索引
diff_all.columns = pd.MultiIndex.from_product(
    [diff_all.columns, ['diff']],
    names=df.columns.names
)

# 4. 横向拼接diff列到原表，按一级列标签重排顺序，保证每个分组下x、y、diff连续排布
df_final = pd.concat([df, diff_all], axis=1).sort_index(axis=1, level=0)

关键说明 #

• 上述代码不需要针对一级分组数量做任何修改，只要每个分组下都存在x、y两个二级列，即可自动完成全部diff列的创建，完全消除重复编码。
• 原逐列赋值的写法df["A"]["diff"] = df["A"].x - df["A"].y属于pandas链式索引操作，运行时会触发SettingWithCopyWarning，极端场景下会出现赋值不生效的问题。上述批量拼接的操作是pandas官方推荐的安全实现方式，不存在这类隐患。
• 最后一步的sort_index(axis=1, level=0)是为了避免拼接后所有diff列集中排在原有列的末尾，保证列结构和目标输出一致。

内容的提问来源于stack exchange，提问作者Henrique Branco