MultiIndex DataFrame层级修改索引混乱的原因及解决方法

场景说明 #

假设有如下MultiIndex结构的DataFrame：

import pandas as pd
df={('AB30566', 'ACTIVE1', 'A1'): {('2021-01-01', 'PHOTO'): 2,
 ('2021-01-01', 'QUE'): 8,
 ('2021-01-01', 'TXR'): 4,
 ('2022-02-01', 'PHOTO'): 4,
 ('2022-02-01', 'QUE'): 0,
 ('2022-02-01', 'TXR'): 1,
 ('2022-03-01', 'PHOTO'): 9,
 ('2022-03-01', 'QUE'): 7,
 ('2022-03-01', 'TXR'): 7},
 ('CD55DF55', 'ACTIVE2', 'A2'): {('2021-01-01', 'PHOTO'): 1,
 ('2021-01-01', 'QUE'): 7,
 ('2021-01-01', 'TXR'): 0,
 ('2022-02-01', 'PHOTO'): 8,
 ('2022-02-01', 'QUE'): 8,
 ('2022-02-01', 'TXR'): 3,
 ('2022-03-01', 'PHOTO'): 6,
 ('2022-03-01', 'QUE'): 0,
 ('2022-03-01', 'TXR'): 7},
('ZT52556', 'UNACTIVE1', 'A3'): {('2021-01-01', 'PHOTO'): 8,
  ('2021-01-01', 'QUE'): 9,
  ('2021-01-01', 'TXR'): 3,
  ('2022-02-01', 'PHOTO'): 5,
  ('2022-02-01', 'QUE'): 3,
  ('2022-02-01', 'TXR'): 0,
  ('2022-03-01', 'PHOTO'): 7,
  ('2022-03-01', 'QUE'): 0,
  ('2022-03-01', 'TXR'): 9},
 ('MIKE90', 'PENSIONER1', 'A4'): {('2021-01-01', 'PHOTO'): 3,
  ('2021-01-01', 'QUE'): 9,
  ('2021-01-01', 'TXR'): 8,
  ('2022-02-01', 'PHOTO'): 3,
  ('2022-02-01', 'QUE'): 2,
  ('2022-02-01', 'TXR'): 1,
  ('2022-03-01', 'PHOTO'): 9,
  ('2022-03-01', 'QUE'): 0,
  ('2022-03-01', 'TXR'): 4},
 ('ZZ00001', 'ACTIVE3', 'A5'): {('2021-01-01', 'PHOTO'): 0,
  ('2021-01-01', 'QUE'): 2,
  ('2021-01-01', 'TXR'): 1,
  ('2022-02-01', 'PHOTO'): 2,
  ('2022-02-01', 'QUE'): 0,
  ('2022-02-01', 'TXR'): 8,
  ('2022-03-01', 'PHOTO'): 5,
  ('2022-03-01', 'QUE'): 6,
  ('2022-03-01', 'TXR'): 0}}

需求是修改列层级USERID（层级0）的名称，预期的映射字典为：

{'AB30566': 'EX00000', 'CD55DF55': 'CD55DF55', 'ZT52556': 'EX00002', 'MIKE90': 'MIKE90', 'ZZ00001': 'EX00004'}

但使用以下代码操作后出现索引错乱，例如MIKE90与对应的PENSIONER1、A4层级不再匹配：

import re
d=pd.DataFrame(df)
d.columns.names =["USERID", "STATUS","LEVEL"]
def simple_mask_user_id(userids):
    exam_dict = {userid:("EX"+str(i).zfill(5) if re.match(r"[A-Z][A-Z][0-9][0-9][0-9][0-9][0-9]",userid) else userid) for i,userid in enumerate(userids) }
    return exam_dict
current_userids = d.columns.get_level_values('USERID').tolist()
dict_mask = simple_mask_user_id(current_userids)
new_names = d.columns.get_level_values("USERID").map(dict_mask).tolist()
d.columns.set_levels(new_names, level=0, inplace=True)

问题原因 #

set_levels方法的作用是替换MultiIndex某一层级的唯一值集合，而非按列的顺序逐个替换对应位置的标签。

原列的USERID层级唯一值为['AB30566', 'CD55DF55', 'ZT52556', 'MIKE90', 'ZZ00001']，当你传入new_names（包含5个元素的列表，对应每个列的映射后值）时，set_levels会将层级的唯一值替换为该列表的元素，但由于MultiIndex的层级是基于去重后的唯一值维护的，替换后会打乱原有的列标签组合关系——比如它会把第一个唯一值AB30566替换成new_names的第一个元素EX00000，第二个唯一值CD55DF55替换成new_names的第二个元素CD55DF55，这种按唯一值顺序的替换逻辑会破坏原列的层级对应关系。

简单说，你误以为set_levels是按列的位置逐个修改标签，但实际上它是修改该层级的全局唯一值字典，导致原有列的层级组合被打乱。

正确解决方法 #

有两种可靠的方式来修改MultiIndex的某一层级标签且不打乱对应关系：

方法1：使用rename方法指定层级和映射字典 #

直接利用rename方法，传入层级对应的映射字典，pandas会自动匹配并替换对应标签，不会打乱组合关系：

import re
d=pd.DataFrame(df)
d.columns.names =["USERID", "STATUS","LEVEL"]
def simple_mask_user_id(userids):
    exam_dict = {userid:("EX"+str(i).zfill(5) if re.match(r"[A-Z][A-Z][0-9][0-9][0-9][0-9][0-9]",userid) else userid) for i,userid in enumerate(userids) }
    return exam_dict
current_userids = d.columns.get_level_values('USERID').tolist()
dict_mask = simple_mask_user_id(current_userids)
# 使用rename方法修改指定层级
d.rename(columns=dict_mask, level='USERID', inplace=True)

方法2：重新构造MultiIndex列标签 #

遍历原列的MultiIndex元组，替换指定层级的标签后重新赋值给列：

import re
d=pd.DataFrame(df)
d.columns.names =["USERID", "STATUS","LEVEL"]
def simple_mask_user_id(userids):
    exam_dict = {userid:("EX"+str(i).zfill(5) if re.match(r"[A-Z][A-Z][0-9][0-9][0-9][0-9][0-9]",userid) else userid) for i,userid in enumerate(userids) }
    return exam_dict
current_userids = d.columns.get_level_values('USERID').tolist()
dict_mask = simple_mask_user_id(current_userids)
# 重新构造MultiIndex
new_columns = pd.MultiIndex.from_tuples(
    [(dict_mask[uid], status, level) for uid, status, level in d.columns],
    names=["USERID", "STATUS","LEVEL"]
)
d.columns = new_columns

这两种方法都会严格保留原列的层级组合关系，不会出现标签错位的问题。

内容的提问来源于stack exchange，提问作者JFerro