Pandas数据透视表三级索引生成无数据重复行问题咨询

问题产生原因 #

该现象由pandas透视表的默认生成逻辑和参数配置共同导致：

• pandas生成多索引透视表时，默认会取每个索引字段的所有唯一值做笛卡尔积，生成全量的索引组合行，不会主动校验原始数据中是否存在该组合
• 如果你配置了fill_value=0参数，原本没有对应聚合数据的索引组合会被自动填充为0，就会出现你观察到的“无效ID和名称组合全为0”的情况
• 少数情况也可能是原始数据中存在零星的异常交叉记录（比如某行数据Customer ID对应了错误的Customer Name），也会触发全量组合生成。

解决方法 #

可根据你的实际使用场景选择以下两种方案：

方案1：生成透视表时直接过滤无效组合 #

生成透视表时先不设置fill_value=0，此时无有效数据的分组会默认显示NaN，删除空值行后再按需填充0即可，示例代码如下：

import pandas as pd

# 生成透视表，无有效数据的分组默认返回NaN
pivot_df = pd.pivot_table(
    df, # 你的原始DataFrame变量名
    index=["Location Name", "Customer ID", "Customer Name（SortName）"],
    values=["你需要聚合的数值字段名"], # 按实际字段替换
    aggfunc="sum" # 按实际聚合规则调整，比如count、mean等
)

# 删除所有数值列全为空的行，仅保留有有效数据的索引组合
pivot_df = pivot_df.dropna(axis=0, how="all")

# 若需要最终空值显示为0，删除无效行后再填充
pivot_df = pivot_df.fillna(0)

方案2：针对已生成的带0值透视表过滤 #

如果你已经生成了包含无效0值行的透视表，直接过滤掉所有数值列全为0的行即可：

# 提取所有数值列
num_cols = pivot_df.select_dtypes(include='number').columns
# 保留至少有一个数值列不为0的行
pivot_df = pivot_df[~(pivot_df[num_cols] == 0).all(axis=1)]

内容的提问来源于stack exchange，提问作者David 54321