Pandas 如何拆分同ID对应多Plate_Number的数据集且不删除原有行
问题根因梳理
- 单独调用
df.groupby(['ID'])仅生成按ID维度的分组对象,未增加“同组内Plate_Number存在不同值”的判断规则,会把所有存在重复ID的分组全部纳入结果,包含B、C这类同ID同Plate的场景 - 调用
df.duplicated(subset=['ID'], keep=False)的判断逻辑仅检测ID是否存在重复值,完全不校验对应Plate_Number的差异,因此同样会把B、C这类有重复行但同ID下Plate完全一致的记录纳入结果
核心实现逻辑
以ID为分组维度,计算每个ID对应所有Plate_Number的去重值数量:
- 去重值数量大于1的ID,说明同ID下存在不同Plate_Number,将该ID对应的所有原始行划入第一类DataFrame
- 去重值数量等于1的ID,说明同ID下仅对应单一Plate_Number(无论该ID下有多少重复行都符合要求),将该ID对应的所有原始行划入第二类DataFrame
该实现方式会完整保留原DataFrame的行顺序,不会像groupby聚合操作那样打乱原始行的排列顺序,适配原有数据的业务使用习惯。
具体代码实现
# 1. 计算每个ID下的Plate_Number唯一值数量 id_plate_unique_cnt = df.groupby('ID')['Plate_Number'].nunique() # 2. 提取同ID下存在多个不同Plate_Number的ID集合 multi_plate_id_set = id_plate_unique_cnt[id_plate_unique_cnt > 1].index # 3. 基于ID集合拆分两个数据集,全量保留对应ID下的所有原始行 # 第一类:同ID对应多Plate_Number的数据集(即示例中ID为A的相关行) df_multi_plate = df[df['ID'].isin(multi_plate_id_set)] # 第二类:同ID对应单Plate_Number的数据集(即示例中ID为B、C的相关行,含所有原重复行) df_single_plate = df[~df['ID'].isin(multi_plate_id_set)]
结果匹配验证
使用示例数据测试时:
- ID=A对应的Plate_Number去重值为2个(SWD1314、SKT5721),会被归入
df_multi_plate,输出和预期第一类数据集完全一致 - ID=B、ID=C对应的Plate_Number去重值均为1个,两个ID下的所有重复行都会完整保留在
df_single_plate中,和预期第二类数据集完全匹配
内容的提问来源于stack exchange,提问作者Lutfi
相关产品推荐
相关产品推荐

