Python定位DataFrame空值行列及解决np.isnan报错问题

你碰到的TypeError是因为np.isnan()只能处理数值类型数据，而你的DataFrame里包含字符串列（比如name、email、state），这些列的空值虽然显示为NaN，但属于object数据类型，np.isnan()无法识别这种类型的空值，因此报错。

改用Pandas内置的pd.isna()或pd.isnull()函数，它们能兼容所有数据类型（数值、字符串、日期等），完美解决类型不兼容问题。下面提供两种实现方式：

方式一：遍历行（直观易懂） #

import pandas as pd
import numpy as np

# 模拟你的原始DataFrame
df = pd.DataFrame({
    'row_id': [1, 2, 3, 4, 5],
    'name': ['Alice', np.nan, 'Charlie', np.nan, 'Eve'],
    'email': [np.nan, 'bob@example.com', np.nan, 'dave@example.com', np.nan],
    'age': [25, np.nan, 30, np.nan, 35],
    'state': ['CA', 'NY', np.nan, np.nan, 'TX']
})

# 收集空值信息
null_records = []
for _, row in df.iterrows():
    for col in df.columns:
        if pd.isna(row[col]):
            null_records.append({
                'row_id': row['row_id'],
                'col_id': col,
                'value': row[col]
            })

# 转换为目标DataFrame
null_df = pd.DataFrame(null_records)
print(null_df)

方式二：向量化操作（高效适合大数据） #

如果你的DataFrame数据量较大，遍历行效率低下，推荐用Pandas的向量化方法：

# 将宽表转为长表，保留row_id作为标识
long_df = df.melt(id_vars='row_id', var_name='col_id', value_name='value')
# 筛选出所有空值行
null_df = long_df[pd.isna(long_df['value'])].reset_index(drop=True)
print(null_df)

输出结果 #

两种方式都会得到如下格式的新DataFrame：

row_id  col_id value
0       1    email   NaN
1       2     name   NaN
2       3    email   NaN
3       3    state   NaN
4       4     name   NaN
5       4      age   NaN
6       4    state   NaN
7       5    email   NaN

• 永远用pd.isna()/pd.isnull()替代np.isnan()来检测Pandas DataFrame中的空值，前者支持所有数据类型。
• 向量化操作（方式二）比循环遍历（方式一）效率高10~100倍，处理大型数据集时优先选择。

内容的提问来源于stack exchange，提问作者Saurav Sharma