Pandas多列场景下如何批量删除DataFrame数值列含非数值的行?
批量校验多列数值合法性、删除混入非数值行的实现方案
原写法的问题
你之前尝试的代码有两个会直接导致报错/失效的问题:
- 选择多列时,pandas要求将列名放在列表中传入,直接写
df['num legs','num wings', 'num arms']会被识别为传入单个元组作为列名,直接触发KeyError - 异常值判断逻辑错误:
isin(['NHN, Infinity'])是把整段带逗号的字符串作为单个匹配项,并不是分别匹配NHN和Infinity,哪怕列选择逻辑正确,也匹配不到任何异常值
适配大规模列的实现思路
面对80列的数据集,你不需要手动把78个数值列的名字挨个写进代码,整体逻辑分三步:
- 圈定校验范围:从全部列里减去那2个允许存文本的列,自动生成待校验的列名列表
- 批量判断异常:不手动枚举所有可能的非数值内容,统一尝试把待校验列的值转成数值,转失败的就是需要剔除的异常值
- 按行过滤:只要某行在所有待校验列里出现一个转不成数的异常值,就把整行删掉
具体代码实现
先替换成你实际的列信息:
import pandas as pd # 替换为你实际允许存储文本的2个列名 allow_text_cols = ['文本列1', '文本列2'] # 自动计算需要做数值校验的列,不用手动列全78个 check_cols = df.columns.difference(allow_text_cols)
然后生成异常行的标记:
# 逐列尝试转数值,转失败的位置标记为异常 bad_value_mask = df[check_cols].apply( lambda col: pd.to_numeric(col, errors='coerce').isna() ).any(axis=1)
最后过滤得到干净的数据集:
# 保留所有没有异常值的行 clean_df = df[~bad_value_mask]
对应你给出的示例数据,这段代码运行后会自动识别出第三行的
NHN、第四行的字符串型Infinity属于非数值异常,把这两行删掉,保留前两个全为合法数值的行。
特殊需求适配
- 如果你需要把浮点类型的内置无穷值(
np.inf,这类值本身是合法数值类型,默认不会被上面的逻辑当成异常)也删掉,可以额外加一步判断:
from numpy import isinf # 把存在无穷值的行也标记为异常 bad_inf_mask = clean_df[check_cols].apply(isinf).any(axis=1) clean_df = clean_df[~bad_inf_mask]
- 这个方法不需要你提前知道所有异常值的具体内容:不管是混入的
NHN文本、乱码、无意义的标记字符串,只要没法被转换成数值,都会被自动识别出来,比手动列异常值列表的方式稳定很多,能适配实际数据集的复杂情况
内容的提问来源于stack exchange,提问作者Denis Vecchiato
相关产品推荐
相关产品推荐

