Pandas层级MultiIndex列使用regex正则筛选失败原因及解决方法

失败原因 #

df.filter()处理MultiIndex层级索引时，正则规则默认是分别匹配每个层级的单个标签字符串，不会将整个列对应的MultiIndex元组拼接为完整字符串后再匹配。
你使用的正则\]$要求匹配的字符串以]结尾：

• 单级列场景下，列名就是单个字符串，符合规则的列会被正常筛选
• 层级列场景下，正则只会和每一层的单独标签匹配，无法作用于跨层级的完整列名字符串，同时如果符合]结尾规则的标签未出现在默认匹配的层级中，就会返回空结果。

解决方案 #

方法1：指定匹配层级（推荐） #

如果]结尾的标签固定在某一个层级，直接添加level参数指定对应层级即可（层级从0开始计数，根据你的实际层级结构调整数值）：

# 示例为匹配第二层（索引为1）的列标签
df.filter(regex=r"\]$", level=1)

方法2：自定义布尔索引跨层级匹配 #

如果需要匹配跨层级的完整列名规则，可以先将MultiIndex元组拼接为完整字符串，再做布尔筛选：

# 拼接多级列名后匹配以]结尾的规则
col_mask = df.columns.map(lambda col_tuple: "|".join(map(str, col_tuple))).str.endswith("]")
# 也可以用正则匹配自定义规则
# col_mask = df.columns.map(lambda col_tuple: "|".join(map(str, col_tuple))).str.contains(r"\]$", regex=True)
result = df.loc[:, col_mask]

方法3：临时转换为单级列索引筛选 #

如果不想调整匹配逻辑，可以临时把MultiIndex转为单级拼接索引，筛选完成后恢复原层级结构：

# 保存原层级列索引
original_cols = df.columns
# 临时替换为拼接后的单级列名
df.columns = df.columns.map(lambda x: "|".join(map(str, x)))
# 执行筛选
result = df.filter(regex=r"\]$")
# 恢复结果的层级列索引
result.columns = original_cols[df.columns.isin(result.columns)]

内容的提问来源于stack exchange，提问作者rhz