pandas:如何删除DataFrame中第2-4列含非数字内容的行
Pandas DataFrame 按指定列规则删除非数字行的实现
需求边界
- 待处理的DataFrame有固定属性:第1列始终为0,无法作为行校验依据;最后一列固定存储文本内容,不能对整行做全局文本匹配筛选
- 非数字内容仅可能出现在第2、3、4列
- 筛选规则:第2至4列中只要任意一列存在不属于合法数字的内容,就删除对应的整行
已尝试方案的问题复盘
第一段试写代码
df_append['a','b','c'] = df_append.iloc[:,2:4].astype(str) df_append[~df['a','b','c'].str.contains('0|1|2|3|4|5|6|7|8|9')]
运行触发报错:ValueError: Wrong number of items passed 2, placement implies 1
报错原因:
- 多列索引写法错误,
df_append['a','b','c']被pandas解析为元组形式的单层列索引,不是选中三列的写法,多列选择需要用列表包裹列名 - 正则匹配逻辑存在缺陷:仅判断单元格中“是否包含数字字符”,没有判断“整个单元格是否全为数字内容”,就算单元格混有数字和文本,也会被识别为包含数字、不触发删除
第二段试写代码
df_append[df_append.iloc[: 2:4].isin([0,1,2,3,4,5,6,7,8,9])]
代码可正常运行,但未筛除任何含非数字内容的行,问题原因:
- 切片维度写错,
iloc[: 2:4]实际是取行方向的切片范围,没有选中目标列,正确的列切片需要把行维度的切片写完整 isin逻辑适配性差:仅判断单元格值是否完全等于0-9的单个整数,遇到带小数点的数值、字符串格式的数字,都无法正确匹配,完全达不到筛选效果
可落地实现代码
两种方法均可满足需求,可根据实际数据格式选择:
- 基于数值转换容错的筛选(适配带整数、小数、字符串格式数字的场景)
# 选中业务视角的第2、3、4列(pandas列索引从0开始,对应1:4的切片范围,左闭右开) target_cols = df_append.iloc[:, 1:4] # 逐列尝试转换为数值,转换失败的位置标记为NaN numeric_check = target_cols.apply(pd.to_numeric, errors='coerce').notna() # 仅保留目标三列全部转换成功的行 cleaned_df = df_append[numeric_check.all(axis=1)] - 基于正则严格匹配的筛选(适配对数字格式有明确要求的场景)
# 定义合法数字的匹配规则:可选正负号,支持整数、带小数的数值 num_pattern = r'^-?\d+\.?\d*$' # 逐单元格判断是否符合数字格式 str_check = target_cols.apply(lambda col: col.astype(str).str.match(num_pattern)) cleaned_df = df_append[str_check.all(axis=1)]
待删除的纯文本行(如"TRDG ASSETS-US TREAS SECS IN DOM OFF"这类资产名称文本)会因为无法通过数字格式校验,被自动过滤。
内容的提问来源于stack exchange,提问作者ASH
相关产品推荐
相关产品推荐

