如何使用部分MultiIndex对Pandas DataFrame进行行索引与子集筛选？

给定以下DataFrame和MultiIndex实例：

import pandas as pd

df = pd.DataFrame(
    {'x': [1,2,3]},
    index=pd.MultiIndex.from_tuples(
        [('a', 'p', 1), ('b', 'z', 3), ('a', 'q', 2)],
        names=['l1', 'l2', 'l3'],
    ),
)

idx = pd.MultiIndex.from_tuples(
    [('a', 'q'), ('a', 'p')],
    names=['l1', 'l2'],
)

尝试用df.loc[idx]筛选子集时失败（Pandas v2.0.3），报错：

ValueError: operands could not be broadcast together with shapes (2,2) (3,) (2,2)

现需寻找符合Pandas规范的简洁实现方式，而非临时 workaround。

方法1：使用Index.isin（最简洁） #

直接利用isin方法匹配MultiIndex的对应层级，Pandas会自动对齐索引名称和结构：

df[df.index.isin(idx)]

执行后得到目标结果：

方法2：扩展idx为全层级索引后用loc #

将二级的idx扩展为包含第三层通配符（slice(None)）的三级索引，再通过loc筛选：

# 给idx的每个元组添加第三层的通配符
extended_idx = idx.map(lambda t: t + (slice(None),))
df.loc[extended_idx]

这种方式和isin效果一致，适合需要明确指定层级范围的场景。

方法3：使用IndexSlice结合层级匹配 #

通过IndexSlice精准指定要匹配的层级，利用元组组合筛选条件：

df.loc[pd.IndexSlice[idx.get_level_values('l1'), idx.get_level_values('l2'), :]]

若idx的层级名称与df完全对应，还可简化为：

df.loc[pd.IndexSlice[tuple(idx.T), :]]

df.loc[idx]失败是因为df的索引是三级MultiIndex，而idx是二级MultiIndex，Pandas无法自动推断需要保留第三层的所有值。必须明确告知Pandas如何处理缺失的层级，上述方法都通过不同方式解决了这个问题。

内容的提问来源于stack exchange，提问作者shadowtalker