You need to enable JavaScript to run this app. 如何在Pandas数据框中按列指定层级过滤删除异常行
优惠活动
大模型
产品
解决方案
定价
更多

如何在Pandas数据框中按列指定层级过滤删除异常行

问题原因与解决方法

操作错误拆解

  • 第一次过滤后得到全空数据的原因:使用&(逻辑与)连接两个相等判断时,要求同一行的Record Status取值同时等于Approved和In Review,这个条件永远不可能成立,因此所有行都会被过滤。要表达“满足任意一个条件”的逻辑,应该使用逻辑或|,而非逻辑与&。
  • 第二次使用isin过滤丢失In Review行的原因:从分组输出可以看到,混入Record Status列的异常值(各类物种名)开头普遍带有前导空格,说明原始CSV读取后的字符串值存在前后空白不统一的问题。你用来做匹配的In Review实际存储值大概率附带了不可见的前后空白,和你写在匹配列表里的无空格字符串不相等,因此被isin判定为不匹配,最终只剩无空格的Approved行被保留。

落地操作步骤

  1. 清洗所有字符串列的前后空白
    遍历所有对象类型(字符串)的列,裁剪每个值的前后不可见空格,消除格式不统一带来的匹配误差:
    for col in data.select_dtypes("object").columns:
        data[col] = data[col].str.strip()
    
  2. 执行过滤
    完成空白清洗后,再按有效状态值过滤,就能正确保留所有符合条件的行:
    valid_records = ["Approved", "In Review"]
    data = data[data["Record Status"].isin(valid_records)]
    
    执行后验证分组统计结果,会看到Approved的2668条、In Review的25条记录都被正确保留,所有错位混入的异常值行会被自动清除。

补充:数据中出现物种名混入Record Status列的本质是原始CSV存在字段错位,通常是部分文本字段未加引号,导致文本内的逗号被误判为分隔符。若要从根源减少这类问题,可以回到CSV读取环节调整读取参数,降低行错位概率。


内容的提问来源于stack exchange,提问作者siegfried

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.25 04:45:00