Pandas多列索引DataFrame分组后保留列多层索引的方法

问题分析 #

当你对带**多层列索引（MultiIndex）**的DataFrame使用groupby([('A', 'bins'), ('B', 'bins')], as_index=False)统计频次时，结果的列会自动转为单层索引，导致后续无法与原DataFrame的多层列进行merge操作——因为merge的on参数需要匹配相同层级的列名结构。

解决方案：分组后强制保留多层列索引 #

核心思路是避免直接用as_index=False丢失层级，而是先以分组键为索引统计频次，再通过reset_index的参数指定恢复多层列结构：

方法1：重置索引时指定列层级与名称

import pandas as pd

# 原多层列索引DataFrame
df = pd.DataFrame({
    ('A', 'a'): [5,3,2], 
    ('A', 'b'): [8,2,5], 
    ('A', 'bins'): [1,1,2], 
    ('B', 'a'): [5,3,2], 
    ('B', 'b'): [8,2,5], 
    ('B', 'bins'): [1,1,2]
}, index=[0,1,2])

# 分组统计并保留多层列索引
bin_sizes = df.groupby([('A', 'bins'), ('B', 'bins')]).size()
# reset_index时：
# - name参数给频次列设置多层索引（这里用('', 'size')适配原两层结构）
# - 原分组键会自动恢复为多层列
bin_sizes = bin_sizes.reset_index(name=('', 'size'))

# 验证列层级：bin_sizes.columns.nlevels == 2

方法2：手动重构列的多层索引

如果已经得到了单层列的结果，可以手动将列转换为MultiIndex：

# 假设已经得到单层列的b
b = df.groupby([('A', 'bins'), ('B', 'bins')], as_index=False).size()
# 重构列的多层索引
b.columns = pd.MultiIndex.from_tuples([('A', 'bins'), ('B', 'bins'), ('', 'size')])

后续需求验证（匹配频次最高的B bins） #

现在bin_sizes的列层级与原df一致，可以正常执行你的后续逻辑：

# 找到每个A bins对应的频次最高的B bins
idx = bin_sizes.groupby(('A', 'bins'))[('', 'size')].idxmax()
bins = bin_sizes.loc[idx]

# 内连接过滤原DataFrame
merged = pd.merge(df, bins, on=[('A', 'bins'), ('B', 'bins')])

补充优化：直接过滤原DataFrame的替代方案 #

如果你不需要保留频次列，也可以用transform直接在原DataFrame上标记符合条件的行，避免merge：

# 计算每个(A bins, B bins)的频次
df['count'] = df.groupby([('A', 'bins'), ('B', 'bins')])[('A', 'a')].transform('size')
# 找到每个A bins下的最大频次
max_counts = df.groupby(('A', 'bins'))['count'].transform('max')
# 过滤出频次最高的行
filtered_df = df[df['count'] == max_counts]
# 可选：把count列转为多层索引（适配原结构）
filtered_df = filtered_df.rename(columns={'count': ('', 'count')})

内容的提问来源于stack exchange，提问作者Iván Martínez