使用Pandas排序透视表时遭遇KeyError: 'IP4'问题求助

核心矛盾 #

打印透视表列列表显示包含IP4，但执行排序时触发KeyError: 'IP4'，仅处理新文件时出现该问题，此前代码运行正常。

可能原因及解决步骤 #

1. 列名存在隐藏字符或大小写差异 #

新文件的原始列名可能带有空格、制表符，或大小写与预期不符（比如实际是IP4 、ip4而非IP4），导致透视表生成的列名视觉上匹配，但实际存在不可见差异。

• 排查操作：替换原打印代码为以下内容，查看列名真实形态：

  print([repr(col) for col in pivot_table.columns])
  

  若列名带空格，会显示为'IP4 '这类明确形态。

• 解决办法：

  • 读取新文件时先标准化列名：

    # 去除首尾空格、统一为大写（可根据实际需求调整）
    df.columns = df.columns.str.strip().str.upper()
    

  • 或生成透视表后强制重命名列：

    pivot_table.columns = ['Final Priority Score', 'IP4']
    

2. 新文件数据导致聚合列异常 #

如果新文件中IP4列全为空值，np.count_nonzero可能无法生成有效统计列（虽然打印列列表显示存在，但可能是缓存或打印时机问题）。

• 排查操作：检查新文件的IP4列数据状态：

  print(df['IP4'].isna().sum())  # 统计空值总数
  print(df['IP4'].unique())      # 查看列内唯一值
  

• 解决办法：

  • 提前过滤无效数据：

    df = df.dropna(subset=['IP4'])
    

  • 替换聚合函数为更稳定的pd.Series.count：

    pivot_table = pd.pivot_table(
        df, 
        index=['Vulnerability'],
        values=['IP4','Final Priority Score'],
        aggfunc={'IP4': pd.Series.count,
                 'Final Priority Score': np.mean}
    )
    

3. 透视表生成多级列（MultiIndex） #

部分情况下（比如聚合函数返回多值），透视表会生成多级列，直接用普通列名排序会触发报错。

• 排查操作：打印列的类型确认：

  print(type(pivot_table.columns))
  

  若输出为pandas.core.indexes.multi.MultiIndex，说明是多级列结构。

• 解决办法：扁平化列名后再排序：

  pivot_table.columns = ['_'.join(col).strip() for col in pivot_table.columns.values]
  pivot_table.sort_values(by=['IP4'], inplace=True, ascending=False)
  

内容的提问来源于stack exchange，提问作者niv dahan