Pandas多级索引数据筛选：排除二级索引为空行的方法

问题描述 #

之前误将DataFrame的多级索引class和group当作列名编写代码，抛出KeyError:'class'。参考相关内容后，用.loc方法能筛选出class为First、Second、Third的行，但不知道如何添加条件排除group索引为空的行。

当前DataFrame #

当前可用代码 #

keep_rows = df.loc[['First','Second','Third']]

此前错误代码（将索引当列名导致KeyError） #

keep_rows = df[(df['class'].isin(['First','Second','Third'])) & (df['group'].isna())]

期望结果 #

解决方案 #

方法1：基于索引层级生成掩码筛选 #

直接针对多级索引的两个层级生成布尔掩码，一次性完成筛选：

# 生成两个条件的掩码：class在目标列表中，且group不为空
mask = (df.index.get_level_values('class').isin(['First','Second','Third'])) & \
       (df.index.get_level_values('group').notna())
keep_rows = df[mask]

方法2：先筛选class再过滤group #

先通过.loc筛选目标class，再对结果中的group索引做非空过滤：

keep_rows = df.loc[['First','Second','Third']].loc[lambda x: x.index.get_level_values('group').notna()]

方法3：重置索引为列后筛选（更直观） #

将多级索引转为普通列，用熟悉的列筛选逻辑处理后，再恢复索引：

# 重置索引为列
keep_rows = df.reset_index()
# 筛选符合条件的行
keep_rows = keep_rows[(keep_rows['class'].isin(['First','Second','Third'])) & (keep_rows['group'].notna())]
# 重新设置多级索引
keep_rows = keep_rows.set_index(['class', 'group'])

内容的提问来源于stack exchange，提问作者2020db9