pandas：multilevel indices如何按任意条件返回匹配的level0全量组数据

这个需求的逻辑其实非常直白：以0级索引为分组边界，只要组内任意一行满足指定列的筛选条件，就保留该组下的全部行数据。完全可以依托pandas多级索引的原生能力实现，不存在冗余的手动操作，也不会出现数据丢失的问题。

两种可落地的无冗余实现 #

方案1：组级存在性判断（逻辑最直观） #

这种方法完全规避单行筛选丢行的问题，核心是先定位需要保留的0级索引集合，再整组拉取数据：

• 第一步：按0级索引（也就是你的subject_id）对目标列test_variable_2做分组判断，只要组内存在任意一行值为3，就标记该组为待保留：
  keep_subjects = df.groupby(level=0)['test_variable_2'].apply(lambda col: (col == 3).any())
  返回结果是和0级索引一一对应的布尔Series，在你的示例场景下值为subject_id=1:True, subject_id=2:False, subject_id=3:True
• 第二步：直接用标记好的保留组索引做全表筛选即可：
  filtered_df = df.loc[keep_subjects[keep_subjects].index, :]
  整个过程不会对原表的其他列、非条件匹配行做任何压缩，同组内的NaN值、其他test_variable的行都会完整保留，完全不存在你担心的groupby丢数据问题——毕竟这里的groupby只是用来做组级的布尔判断，不是用来做聚合计算压缩数据的。

方案2：轻量索引匹配（大表场景效率更高） #

如果处理的数据量很大，不想引入groupby的聚合开销，可以直接通过索引层级取值完成匹配：

• 第一步：先筛选出所有满足test_variable_2 ==3的行，提取这些行对应的0级索引的去重集合：
  valid_subjects = df.loc[df['test_variable_2'] == 3, :].index.get_level_values(0).unique()
• 第二步：判断全表每一行的0级索引是否落在这个合法集合里，一次性完成全表筛选：
  filtered_df = df[df.index.get_level_values(0).isin(valid_subjects)]
  这个逻辑和你之前手动做mask的思路完全一致，只是把手动提取索引、删除多余索引的步骤全部交给pandas原生API完成，没有冗余操作。

避坑提醒 #

• 不要直接用单行布尔条件筛表，比如df[df['test_variable_2'] == 3]，这种写法只会把满足条件的pre_event行保留，同组下的其他event行直接被过滤掉，完全达不到整组保留的效果
• 上述两种方法都不需要做额外的索引删除、行拼接操作，输出的多级索引结构和原表完全一致，不会打乱原有索引的层级关系

内容的提问来源于stack exchange，提问作者Jesper Mølgaard