如何在Pandas数据框中按列指定层级过滤删除异常行
问题原因与解决方法
操作错误拆解
- 第一次过滤后得到全空数据的原因:使用
&(逻辑与)连接两个相等判断时,要求同一行的Record Status取值同时等于Approved和In Review,这个条件永远不可能成立,因此所有行都会被过滤。要表达“满足任意一个条件”的逻辑,应该使用逻辑或|,而非逻辑与&。 - 第二次使用
isin过滤丢失In Review行的原因:从分组输出可以看到,混入Record Status列的异常值(各类物种名)开头普遍带有前导空格,说明原始CSV读取后的字符串值存在前后空白不统一的问题。你用来做匹配的In Review实际存储值大概率附带了不可见的前后空白,和你写在匹配列表里的无空格字符串不相等,因此被isin判定为不匹配,最终只剩无空格的Approved行被保留。
落地操作步骤
- 清洗所有字符串列的前后空白
遍历所有对象类型(字符串)的列,裁剪每个值的前后不可见空格,消除格式不统一带来的匹配误差:for col in data.select_dtypes("object").columns: data[col] = data[col].str.strip() - 执行过滤
完成空白清洗后,再按有效状态值过滤,就能正确保留所有符合条件的行:
执行后验证分组统计结果,会看到valid_records = ["Approved", "In Review"] data = data[data["Record Status"].isin(valid_records)]Approved的2668条、In Review的25条记录都被正确保留,所有错位混入的异常值行会被自动清除。
补充:数据中出现物种名混入
Record Status列的本质是原始CSV存在字段错位,通常是部分文本字段未加引号,导致文本内的逗号被误判为分隔符。若要从根源减少这类问题,可以回到CSV读取环节调整读取参数,降低行错位概率。
内容的提问来源于stack exchange,提问作者siegfried
相关产品推荐
相关产品推荐

