复杂Split Apply Combine操作咨询：基于多层索引DataFrame的处理方案

嘿，针对你这个带多层索引的DataFrame做复杂的Split-Apply-Combine操作，我整理了几个实用的技术方案，结合你的数据结构来一步步说：

因为你的DataFrame是双层索引（Index1和Index2），Split阶段可以灵活选择分组层级，满足不同的分析需求：

• 按外层索引Index1分组：适合对每个Index1类别下的所有行做统一操作
• 按内层索引Index2分组：适合跨Index1，对相同Index2的行做聚合
• 按两层索引组合分组：适合最细粒度的分组操作

对应的代码示例：

# 按外层Index1分组
grouped_by_index1 = df.groupby(level='Index1')

# 按内层Index2分组
grouped_by_index2 = df.groupby(level='Index2')

# 按两层索引组合分组
grouped_by_both = df.groupby(level=['Index1', 'Index2'])

这是Split-Apply-Combine的核心，根据需求可以选择内置函数或自定义函数：

1. 内置聚合函数快速处理 #

如果只是做常见的统计聚合（均值、求和、最大值等），直接用内置函数效率最高：

# 按Index1分组，计算各列的均值
index1_col_means = grouped_by_index1.mean()

# 按两层索引分组，计算Column1的最大值
both_index_col1_max = grouped_by_both['Column1'].max()

2. 自定义复杂转换函数 #

如果需要定制化的操作（比如标准化、排序、自定义统计），可以写自己的函数传入apply：

def normalize_to_01(group):
    """将分组内的数值列缩放到0-1区间"""
    return (group - group.min()) / (group.max() - group.min())

# 对每个Index1分组的所有列做标准化
normalized_df = grouped_by_index1.apply(normalize_to_01)

# 只针对Column1和Column3做标准化
normalized_subset = df[['Column1', 'Column3']].groupby(level='Index1').apply(normalize_to_01)

3. 多输出的复杂统计 #

如果每个分组需要输出多个统计结果（比如同时返回均值、中位数、标准差），可以让函数返回一个DataFrame：

def group_complex_stats(group):
    stats_dict = {
        '均值': group.mean(),
        '中位数': group.median(),
        '标准差': group.std(),
        '极差': group.max() - group.min()
    }
    # 转置结果，让统计指标作为列，原数据列作为行
    return pd.DataFrame(stats_dict).T

# 生成每个Index1分组的多维度统计
index1_stats = grouped_by_index1.apply(group_complex_stats)

Combine的关键是让结果和原数据或需求的结构对齐，常见的方式有两种：

1. 直接合并到原DataFrame #

用transform方法可以将聚合结果广播到原分组的每一行，直接作为新列添加：

# 计算每个Index1分组内Column1的均值，添加为新列
df['Column1_Group_Mean'] = df.groupby(level='Index1')['Column1'].transform('mean')

# 计算每个Index1分组内Column2的排名（降序），添加为新列
df['Column2_Group_Rank'] = df.groupby(level='Index1')['Column2'].rank(ascending=False)

2. 整理独立的结果集 #

如果Apply返回的是独立的DataFrame/Series，可以通过调整索引来让结果更易读：

# 对两层分组的Column3求和，重置索引让层级变成列
both_index_col3_sum = grouped_by_both['Column3'].sum().reset_index()

如果需要更复杂的分层操作（比如先按Index1分组，再在每个分组内按Index2做二次处理），可以在自定义函数里嵌套分组逻辑：

def nested_cumsum(group):
    """每个Index1分组内，按Index2计算Column2的累计和"""
    return group.groupby(level='Index2')['Column2'].cumsum()

# 应用嵌套操作，重置外层索引让结果和原DataFrame对齐
df['Column2_Cumsum_By_Index2'] = grouped_by_index1.apply(nested_cumsum).reset_index(level=0, drop=True)

这些方案可以覆盖大部分复杂的Split-Apply-Combine场景，你可以根据实际需求调整自定义函数的逻辑，灵活组合分组层级和操作方式。

内容的提问来源于stack exchange，提问作者user9592573