如何在Pandas中高效按列前缀拆分DataFrame并计算列对差值？

嘿，这个问题我刚好处理过，给你分享个超高效的办法，比拆分成A、B表再排序要省事多了！

核心思路是直接通过列名的规律匹配成对列，批量计算差值，不需要拆分和合并DataFrame，既省内存又省代码。

具体实现步骤 #

1. 提取所有品牌名称：从列名中拆分出A_/B_后面的品牌标识，去重后得到所有需要计算差值的品牌列表。
2. 批量生成差值列：遍历每个品牌，直接计算对应A_品牌和B_品牌的差值，生成dif_品牌格式的新列。

代码示例 #

用你提供的示例数据来演示：

import pandas as pd

# 示例数据
data = {
    'A_Benz': [1, 1],
    'B_Benz': [0, 0],
    'A_Audi': [1, 0],
    'B_Audi': [1, 1],
    'A_Honda': [0, 0],
    'B_Honda': [0, 0]
}
df = pd.DataFrame(data)

# 提取所有品牌名称
brands = {col.split('_')[1] for col in df.columns if col.startswith(('A_', 'B_'))}

# 批量计算差值列
for brand in brands:
    df[f'dif_{brand}'] = df[f'A_{brand}'] - df[f'B_{brand}']

print(df)

运行后会自动生成dif_Benz、dif_Audi、dif_Honda列，完全符合你的需求。

为什么这个方法更高效？ #

• 避免冗余操作：不需要拆分DataFrame再合并，减少了数据复制和排序的开销，尤其是当你的DataFrame有200多列时，内存占用会低很多。
• 代码简洁易维护：逻辑清晰，哪怕后续新增品牌列，代码也不需要大改，只需要保证列名格式统一即可。
• 灵活调整：如果需要计算B_品牌 - A_品牌，只需要把减法顺序反过来就行。

可选的进阶方法（复杂场景适用） #

如果你的列名格式更复杂，或者需要处理更灵活的分组，可以用Pandas的重塑功能：

# 转成长格式并拆分列名
long_df = df.filter(like='_').melt(var_name='col', value_name='value')
long_df[['prefix', 'brand']] = long_df['col'].str.split('_', n=1, expand=True)

# 按品牌和前缀转宽并计算差值
diff_df = long_df.pivot(index=long_df.index, columns=['brand', 'prefix'], values='value')
diff_df = diff_df.xs('A', level='prefix', axis=1) - diff_df.xs('B', level='prefix', axis=1)

# 重命名列并合并回原DataFrame
diff_df.columns = [f'dif_{col}' for col in diff_df.columns]
df = pd.concat([df, diff_df], axis=1)

不过对于你的需求来说，第一种循环方法已经足够简单高效啦！

内容的提问来源于stack exchange，提问作者Alex Xu