Pandas 基于city、district去重时如何保留非重复分组的quantity为NaN行
原代码逻辑偏差说明
你之前写的筛选条件存在两个硬伤,直接导致筛选结果不符合预期:
~df[['city', 'district']].duplicated()的判断逻辑,会无差别丢弃所有重复组合里的非首行记录,没有专门针对quantity为NaN的行做定向删除- 全局套用
df['quantity'].notna()的过滤条件,会把所有quantity为空的行全部筛掉,哪怕这些行对应的city+district组合本身是唯一存在的,也会被误删
调整思路
把筛选规则拆成两类可并行判断的保留分支,满足任意一类就保留行:
- 针对city+district组合仅出现1次的场景:无论该行quantity是否为NaN,全部保留
- 针对city+district组合**出现2次及以上(有重复)**的场景:只保留组内quantity非空的行,删除组内quantity为NaN的冗余行
可直接运行的调整后代码
# 统计每个city+district组合在全表中的总出现行数 group_row_count = df.groupby(['city', 'district'])['id'].transform('count') # 构造保留行的判断条件 keep_mask = ( # 组合唯一的行,直接保留 (group_row_count == 1) # 组合重复的行,仅保留quantity非空的记录 | ((group_row_count > 1) & df['quantity'].notna()) ) # 应用掩码筛选,重置索引得到目标结果 df_final = df[keep_mask].reset_index(drop=True)
运行效果验证
执行上述代码后,输出结果和你的预期完全匹配:
id city district quantity price 0 1 bj hd 12.0 23.0 1 2 bj cy 23.0 45.0 2 5 sh hp 12.0 NaN 3 7 sh pd NaN NaN
内容的提问来源于stack exchange,提问作者ah bon
相关产品推荐
相关产品推荐

