为何设置dropna=False的groupby会导致MultiIndex.dropna()失效？

一、行为差异的原因 #

直接创建的MultiIndex中，NaN是标准的缺失值（如np.nan或pd.NA），MultiIndex.dropna()会遍历每个索引条目的所有层级，只要存在任一缺失值就删除该条目。

而使用groupby(..., dropna=False)时，pandas会将缺失值作为主动保留的合法分组键处理，此时生成的MultiIndex中的“NaN”已不再是原生缺失值：

• 若分组列为分类类型（Categorical），dropna=False会自动把NaN添加为分类的有效类别，此时索引中的“NaN”是一个合法的分类项，而非缺失值；
• 即使是普通数据列，groupby后pandas会对这些缺失分组键做特殊标记，导致MultiIndex.dropna()的内部判定逻辑无法识别其为需要清理的缺失项。

二、groupby(dropna=False)后删除NaN索引条目的解决方案 #

由于原生dropna()失效，可通过以下手动方式筛选：

方法1：匹配原生dropna()逻辑（删除任一层级含NaN的条目） #

将MultiIndex转换为DataFrame，检查所有层级是否无缺失，再筛选保留符合条件的条目：

mask = df.index.to_frame().notna().all(axis=1)
df_cleaned = df.loc[mask]

方法2：针对性筛选指定层级 #

如果只需删除某几个层级含NaN的条目，可单独提取层级值进行过滤：

# 仅过滤L1层级含NaN的条目
mask = df.index.get_level_values('L1').notna()
df_cleaned = df.loc[mask]

# 同时过滤L1和L2层级含NaN的条目
mask = df.index.get_level_values('L1').notna() & df.index.get_level_values('L2').notna()
df_cleaned = df.loc[mask]

方法3：重置索引后过滤再重建 #

通过重置索引将层级转为列，过滤缺失值后重新设置MultiIndex：

df_cleaned = df.reset_index()
# 按需指定要检查的列
df_cleaned = df_cleaned.dropna(subset=['L1', 'L2']).set_index(['L1', 'L2'])

内容的提问来源于stack exchange，提问作者mins