使用aggfunc=max生成透视表时索引前出现多余1的问题排查

问题描述 #

需求：按邮箱地址聚合客户记录DataFrame，通过pivot_table(aggfunc=max)保留每个邮箱对应的最大ID及其他字段。测试数据运行正常，但实际数据处理后，邮箱索引前被添加多个"1"（如1some_email@email），将邮箱复制到新列后问题依旧。

测试代码示例 #

d = {'email': ['some_email@email', 'some_email2@email', 'some_email2@email', 'some_email3@email'], 
     'ids': [30, 40, 50, 40], 
     'address': ['address1', 'address2', 'address3', 'address4'],
     'col3': ['foo', 'bar', 'baz', 'foo']
    }
df = pd.DataFrame(data=d)

table = df.pivot_table(index='email', aggfunc=max)

排查方向及结论 #

• 原始数据本身存在脏数据
  这是最核心的原因：实际数据的邮箱字段本身就带有前缀"1"，只是前期未被察觉。可能的场景包括：

  • 数据导出/导入时的格式错误（比如上游系统导出时给邮箱自动加了标识前缀）
  • 字符串拼接或清洗时的失误，导致"1"被误加到邮箱开头
  • 编码异常导致部分字符被解析为"1"
    验证方式：直接检查原始数据的邮箱值，比如执行df['email'].head(10)查看前10条邮箱，或用df['email'].str.contains('^1').sum()统计带前缀的邮箱数量。

• 聚合逻辑不会修改索引字段
  pivot_table的aggfunc=max仅对分组后的数值/字符串值字段做聚合计算，作为分组依据的email索引字段只会被用来分组，不会被max函数修改，因此排除聚合逻辑导致该问题的可能。

• 排除显示或格式问题
  由于将邮箱复制到新列后问题依旧，说明不是终端或表格的显示格式bug，确定是数据本身携带的前缀。

• 数据类型转换异常（可能性极低）
  如果邮箱字段曾被误识别为数值类型，后续转字符串时可能出现异常前缀，但这种情况概率极低，可通过df['email'].dtype确认字段类型是否为object（字符串类型）。

内容的提问来源于stack exchange，提问作者Neil