如何按预设分类调整pandas DataFrame列顺序及排查分类转换异常

pivot() 生成宽表时默认按值的字典序/出现顺序排列列，不会继承原始列的有序分类属性，所以会出现列顺序和预设分类不一致的问题。批量循环处理场景下可以用以下通用逻辑自动适配，不需要手动调整列：

• 全局统一定义预设分类顺序，所有数据处理流程复用该变量，避免多处硬编码顺序不一致：

  cat_order = ['A+', 'A', 'B+', 'B', 'C', '-']
  

• 列排序时先按预设顺序筛选当前表实际存在的分类列，再追加非分类的其他业务列（比如id、指标列），自动适配分类缺失的情况，不会报错也不会丢列：

  # 按预设顺序排列存在的分类列，剩余列保留原顺序追加在后面
  sorted_cat_cols = [col for col in cat_order if col in df2.columns]
  remain_cols = [col for col in df2.columns if col not in sorted_cat_cols]
  df2 = df2[sorted_cat_cols + remain_cols]
  

• 如果业务要求强制保留所有预设分类列（哪怕当前数据缺失该分类，比如示例中的'C'列需要补空值列），把列选择逻辑替换为reindex即可：

  # 自动补全缺失的分类列，值填充为NaN
  df2 = df2.reindex(columns=cat_order + [col for col in df2.columns if col not in cat_order])
  

该问题绝大多数由两类原因导致：

• 类型不匹配：当列中存在NaN值时，pandas会自动把整数类型的列转为float类型，原本的整数值会变成带小数点的float值（比如1变成1.0）。而pd.Categorical做值匹配时是严格校验类型的，如果你的预设分类列表是int类型，float格式的1.0会被判定为不在分类列表中，自动转为NaN。
• 存在未定义的异常值：计算过程中产生的0、空字符串、特殊标记值如果没有被加入预设分类列表，转换时这部分值不会被自动归入已有分类，会直接被设为NaN。

对应的修复方法：

1. 转换前统一两边的类型：如果列因为存在NaN被转为float，可以把预设分类列表也转为对应float类型做匹配，后续处理完空值再转回int即可：

   # 示例：预设分类为int，待转换列为float的场景
   cats_list = [0, 1, 2, 3, 4]
   df['cats'] = pd.Categorical(
       df['cats'],
       categories=[float(i) for i in cats_list],
       ordered=True
   )
   

2. 转换前提前排查异常值，按业务规则处理后再做转换，避免静默生成NaN：

   # 找出所有不在预设分类里的异常值
   invalid_vals = set(df['cats'].dropna()) - set(cats_list)
   if invalid_vals:
       # 按业务需求替换异常值，比如替换为默认分类'-'
       df['cats'] = df['cats'].replace(invalid_vals, '-')
   

内容的提问来源于stack exchange，提问作者TMPS