pandas含空字符串的多索引列设置索引时PerformanceWarning的解决方法

PerformanceWarning: indexing past lexsort depth may impact performance 触发和列里有空字符串没有直接关系，根本原因是当前的列MultiIndex没做字典序排序（即lexsort）：
pandas 的 MultiIndex 做键值匹配、切片操作时，只有各层级的键值按字典序连续排好，才能走底层高效的哈希索引查询逻辑；如果索引是乱序的，操作会退化成逐元素遍历匹配，运行效率大幅下降，同时触发这类警告。
你现在的列索引排布本身就不符合排序要求：第一层元素的顺序是' '、'a'、' '、' '、'b'、' '、' '、'c'、' '、' '，代表空格的空字符串没有连续归组，穿插在a、b、c这类字母键值中间，本来就满足不了lexsort的要求。

• 方法一：排序列MultiIndex，从根源消除警告
  在执行set_index操作前，直接对列方向的MultiIndex做字典序排序，不需要单独处理空字符串元素：

  # 对列方向的MultiIndex做字典序排序
  df = df.sort_index(axis=1)
  # 排序完成后再执行设索引操作，不会再触发性能警告
  df = df.set_index((" ", "dqu"))
  

  注：空格的字典序优先级高于英文字母，排序后所有第一层为' '的列会统一排布在索引最前端，后续索引匹配可以走高效查询链路。
• 方法二：保留原列顺序的替代方案
  如果业务上需要固定原表的列排布顺序，不需要对全表做全局排序，可以先提取目标列，绕开深度索引匹配完成设索引操作：

  # 提前提取需要设为行索引的列值
  target_index = df[(" ", "dqu")]
  # 从原表中移除目标列，再用提取到的列值设置行索引
  df = df.drop(columns=[(" ", "dqu")]).set_axis(target_index, axis=0)
  

  整个操作过程不会触发对未排序MultiIndex的深度匹配逻辑，自然不会触发性能警告。

• 很多人看到索引里有空字符串，第一反应是把空值替换成别的占位符，其实完全没必要：空字符串、空格这类特殊值是MultiIndex的合法键值，不需要特意替换成其他占位值，只要保证同一层级的相同键值连续排布、整体满足字典序要求，就不会影响索引性能。
• 这类带空第一层的列索引，基本都是从Excel导入合并单元格表格时自动生成的：pandas读取合并单元格时，只会给合并区域的第一个单元格填上层分组名，其余位置留空。可以在数据导入阶段就对列索引做规整，从根源上减少后续的索引性能问题，示例操作：

  # 对列MultiIndex的第一层空值做前向填充，理顺a/b/c的分组结构
  df.columns = pd.MultiIndex.from_arrays([
      df.columns.get_level_values(0).ffill(),
      df.columns.get_level_values(1)
  ])
  

内容的提问来源于stack exchange，提问作者baxx