Pandas基于分组NaN计数阈值过滤DataFrame的实现方法
过滤实现方法
整个逻辑分为三步完成,无冗余计算:
- 第一步:按分组统计各列NaN数量
- 第二步:定位满足剔除规则的name
- 第三步:从原数据中过滤目标行
1. 分组统计各列NaN数量
基于你现有的统计思路,优化为更稳定的分组写法,避免列对齐错位问题:
# 按name分组,计算每组内所有非name列的NaN数量 nan_counts = ( df .groupby('name', sort=False) .apply(lambda grp: grp.drop('name', axis=1).isna().sum()) )
对应示例数据的计算结果:
date value1 value2 name A 0 2 2 B 0 2 3
2. 定位需要剔除的name
对每个分组的NaN计数,判断是否存在任意一列的数值≥3,命中规则的name就是需要被全部删除的对象:
# 筛选出满足"任意列NaN≥3"的name drop_names = nan_counts[nan_counts.max(axis=1) >= 3].index.tolist()
示例中计算得到的drop_names为['B']——因为B分组下value2列累计了3个NaN,达到剔除阈值。
3. 过滤原始DataFrame
直接从原数据中删除属于待剔除列表的行,重置索引即可得到目标结果:
result = df.loc[~df['name'].isin(drop_names)].reset_index(drop=True)
适配提示:如果后续有不需要参与NaN统计的列(比如其他分类列),只需要在drop('name', axis=1)的位置替换为需要统计的列列表即可,整体逻辑无需调整。
内容的提问来源于stack exchange,提问作者Gau
相关产品推荐
相关产品推荐

