Pandas中针对指定列列表检测NaN与空格并筛选行

要同时处理指定列中的空格、Null和NaN，并分离出问题行与干净行，你可以按以下步骤操作：

• 先把指定列里的空白内容（包括空字符串、全空格的字符串）统一转换为NaN，这样就能用Pandas的空值判断方法一次性处理所有情况。
• 再通过布尔索引筛选出存在问题的行和保留的行。

具体代码示例：

import pandas as pd

# 假设你的原始数据存储在df中
cols_list = ['Product_ID','Vendor_ID']

# 将指定列中的空白内容（空字符串、全空格）替换为NaN
df[cols_list] = df[cols_list].replace({'^\s*$': pd.NA}, regex=True)

# 生成标记：指定列中任意一列存在空值（原Null/NaN或转换后的空白）的行
problem_mask = df[cols_list].isna().any(axis=1)

# 分离出被移除的行和清洗后的行
removed_df = df[problem_mask].copy()
clean_df = df[~problem_mask].copy()

关键说明： #

• replace配合正则^\s*$会匹配所有由0个或多个空格组成的字符串，将它们转为Pandas标准空值pd.NA，这样空格就和原生的Null/NaN统一了判断标准。
• isna().any(axis=1)会检查每一行的指定列，只要有一列存在空值就标记为True，对应需要移除的行。
• 用copy()是为了避免后续操作触发Pandas的链式赋值警告，确保两个新DataFrame是独立的。

如果你的“存在空格”指的是值中包含任意空格（比如"AB 123"这种带空格的有效内容不算，只有纯空格算），上述代码完全适用；如果是要把包含空格的所有值都视为问题，只需把正则改成\s+即可。

内容的提问来源于stack exchange，提问作者Balaji Krishnamoorthy