如何解决Pandas中MultiIndex索引时出现的'indexing past lexsort depth may impact performance'性能警告？

嗨，我来帮你梳理下这个问题的解决思路~

首先你说得完全没错，这个性能警告确实主要和两个点有关：MultiIndex未排序，以及索引存在重复项。Pandas在处理未排序的MultiIndex时，没法利用有序索引的快速查找优化，尤其是当你用元组定位行的时候，就会触发这个性能提示。

接下来咱们一步步解决这个问题：

第一步：先确认索引的当前状态 #

先简单检查下你的MultiIndex是不是真的没排序，以及重复项的情况：

# 检查索引是否按字典序排序
print(df.index.is_lexsorted())
# 统计重复的索引项数量
print(df.index.duplicated().sum())

从你给出的DataFrame来看，is_lexsorted()肯定会返回False，而且能看到明确的重复索引项，比如(7.0,7.0)和(5.0,8.0)都出现了两次。

第二步：给索引排序（核心缓解手段） #

先对MultiIndex做字典序排序，这是解决警告的基础操作——排序后Pandas就能用更高效的二分查找算法来定位索引，性能会直接提升，警告也会大幅减少：

df_sorted = df.sort_index()

这时候再用df_sorted.loc[(7,7), :]查找，性能警告大概率会消失；如果还有提示，那就是因为索引存在重复项的问题，咱们继续处理。

第三步：给重复索引添加唯一标识（补全你的adjust_index函数） #

如果需要让索引完全唯一，同时保留原来的层级信息，咱们可以给每个重复的索引组添加一个累计计数，把它扩展成三层MultiIndex，这样既保留了原索引的含义，又让整个索引完全唯一。

补全后的adjust_index函数是这样的：

def adjust_index(df):
    # 第一步：先对索引做字典序排序
    df = df.sort_index()
    # 获取所有索引层级的位置
    levels = list(range(len(df.index.levels)))
    # 给每个重复的索引组添加累计计数，作为临时列
    df['idx_suffix'] = df.groupby(level=levels).cumcount()
    # 把临时计数列变成MultiIndex的第三层
    df_adj = df.set_index('idx_suffix', append=True)
    return df_adj

调用这个函数后，原来重复的(7.0,7.0)会变成(7.0,7.0,0)和(7.0,7.0,1)，整个索引就完全唯一了。

验证处理效果 #

处理完成后再做索引查找：

df_adj = adjust_index(df)
# 查找所有(7,7)对应的行
data = df_adj.loc[(7,7), :]
# 如果要定位唯一行，可以用三层索引：df_adj.loc[(7,7,0), :]

这时候性能警告就会完全消失，而且查找效率也会有明显提升。

另外补充一句：如果你的场景不需要完全唯一的索引，仅仅是想消除警告，其实只需要排序索引就足够了——Pandas在处理已排序的MultiIndex时，即使有重复项，大部分场景下也不会触发性能警告，因为有序索引的查找效率已经足够高了。

备注：内容来源于stack exchange，提问作者mins