You need to enable JavaScript to run this app. Pandas 基于city、district去重时如何保留非重复分组的quantity为NaN行
优惠活动
大模型
产品
解决方案
定价
更多

Pandas 基于city、district去重时如何保留非重复分组的quantity为NaN行

原代码逻辑偏差说明

你之前写的筛选条件存在两个硬伤,直接导致筛选结果不符合预期:

  • ~df[['city', 'district']].duplicated()的判断逻辑,会无差别丢弃所有重复组合里的非首行记录,没有专门针对quantity为NaN的行做定向删除
  • 全局套用df['quantity'].notna()的过滤条件,会把所有quantity为空的行全部筛掉,哪怕这些行对应的city+district组合本身是唯一存在的,也会被误删
调整思路

把筛选规则拆成两类可并行判断的保留分支,满足任意一类就保留行:

  • 针对city+district组合仅出现1次的场景:无论该行quantity是否为NaN,全部保留
  • 针对city+district组合**出现2次及以上(有重复)**的场景:只保留组内quantity非空的行,删除组内quantity为NaN的冗余行
可直接运行的调整后代码
# 统计每个city+district组合在全表中的总出现行数
group_row_count = df.groupby(['city', 'district'])['id'].transform('count')

# 构造保留行的判断条件
keep_mask = (
    # 组合唯一的行,直接保留
    (group_row_count == 1)
    # 组合重复的行,仅保留quantity非空的记录
    | ((group_row_count > 1) & df['quantity'].notna())
)

# 应用掩码筛选,重置索引得到目标结果
df_final = df[keep_mask].reset_index(drop=True)
运行效果验证

执行上述代码后,输出结果和你的预期完全匹配:

id city district  quantity  price
0   1   bj       hd      12.0   23.0
1   2   bj       cy      23.0   45.0
2   5   sh       hp      12.0    NaN
3   7   sh       pd       NaN    NaN

内容的提问来源于stack exchange,提问作者ah bon

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.07 23:06:08