Pandas转列为category后,拼接数据用Seaborn绘图出现重复分类的解决
问题判定与修复
你的判断是准确的,拼接后出现10个重复分类的现象,核心是pandas中category类型的底层实现机制导致的。
问题本质
pandas中的category类型并非仅靠列名匹配等价,每个category列的类型由独立的CategoricalDtype对象定义,这个对象会记录该列对应的全部合法分类值、分类的元素类型、是否有序这些核心信息。
你遇到的重复分类问题是两个因素叠加导致的:
- 两个数据集的
score列在转换category前,原始值类型不一致:df1的score是object类型,存储的1/2/3/4/5本质是字符串;df2的score是int64类型,存储的是整数。 - 分开调用
astype('category')转换后,两个列的CategoricalDtype携带的分类值存在底层类型差——df1的分类是字符串形式的'1'/'2'/...,df2的分类是整数形式的1/2/...。pandas在concat拼接category列时,不会自动校验两边分类值的等价性,只会直接合并两个列各自携带的分类列表。哪怕分类的显示效果完全一致,只要底层元素类型不同,就会被判定为独立分类,最终拼接完成后就会出现两套共10个重复的1-5分类,自然Seaborn绘图时就会识别出10个独立分组。
可落地的修复方案
按照操作便捷性从高到低排序:
- 方案1:拼接完成后统一重置分类(最灵活,无需反复调整前置流程)
可以跳过拼接前的类型对齐,直接完成数据集拼接后,给合并后的score列显式指定统一的分类值:
这种方法不需要关心拼接前两个列的原始类型差异,只要能明确列的合法取值范围,就能一次性解决分类重复问题。df = pd.concat([df1, df2], sort=False, ignore_index=True) # 显式指定score列的分类范围,覆盖原有重复的分类映射 df['score'] = pd.Categorical(df['score'], categories=[1, 2, 3, 4, 5]) - 方案2:统一原始值类型后再转换category(最符合前置处理逻辑)
在执行category类型转换前,先把两个数据集的score列的原始值类型统一,从根源消除类型差:
这种方式转换完成后,两个列对应的# 先统一原始值为整数类型 df1['score'] = df1['score'].astype(int) df2['score'] = df2['score'].astype(int) # 再转换为category类型 df1['score'] = df1['score'].astype('category') df2['score'] = df2['score'].astype('category')CategoricalDtype携带的分类值完全一致,拼接时不会出现分类重复的问题。 - 方案3:定义全局统一的category类型(适合需要自定义分类规则的场景)
提前定义全局通用的分类类型对象,给两个数据集的列直接绑定这个统一类型,从类型层面保证等价性:# 提前定义统一的分数分类类型,可自定义是否有序 score_categorical = pd.CategoricalDtype(categories=[1, 2, 3, 4, 5], ordered=True) # 给两个列直接绑定统一类型 df1['score'] = df1['score'].astype(score_categorical) df2['score'] = df2['score'].astype(score_categorical) # 后续拼接不会出现分类重复 df = pd.concat([df1, df2], sort=False, ignore_index=True)
排障技巧:完成category类型转换后,可以通过打印
df1['score'].cat.categories和df2['score'].cat.categories校验分类是否一致,如果输出的列表元素存在类型差(比如字符串带引号、整数不带引号),就说明后续拼接一定会出现分类重复问题,可以提前调整。
内容的提问来源于stack exchange,提问作者SecretIndividual
相关产品推荐
相关产品推荐

