You need to enable JavaScript to run this app. Pandas基于分组NaN计数阈值过滤DataFrame的实现方法
优惠活动
大模型
产品
解决方案
定价
更多

Pandas基于分组NaN计数阈值过滤DataFrame的实现方法

过滤实现方法

整个逻辑分为三步完成,无冗余计算:

  • 第一步:按分组统计各列NaN数量
  • 第二步:定位满足剔除规则的name
  • 第三步:从原数据中过滤目标行

1. 分组统计各列NaN数量

基于你现有的统计思路,优化为更稳定的分组写法,避免列对齐错位问题:

# 按name分组,计算每组内所有非name列的NaN数量
nan_counts = (
    df
    .groupby('name', sort=False)
    .apply(lambda grp: grp.drop('name', axis=1).isna().sum())
)

对应示例数据的计算结果:

date  value1  value2
name
A        0       2       2
B        0       2       3

2. 定位需要剔除的name

对每个分组的NaN计数,判断是否存在任意一列的数值≥3,命中规则的name就是需要被全部删除的对象:

# 筛选出满足"任意列NaN≥3"的name
drop_names = nan_counts[nan_counts.max(axis=1) >= 3].index.tolist()

示例中计算得到的drop_names为['B']——因为B分组下value2列累计了3个NaN,达到剔除阈值。

3. 过滤原始DataFrame

直接从原数据中删除属于待剔除列表的行,重置索引即可得到目标结果:

result = df.loc[~df['name'].isin(drop_names)].reset_index(drop=True)

适配提示:如果后续有不需要参与NaN统计的列(比如其他分类列),只需要在drop('name', axis=1)的位置替换为需要统计的列列表即可,整体逻辑无需调整。


内容的提问来源于stack exchange,提问作者Gau

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.23 10:36:04