为何无法使用np.isnan过滤Pandas DataFrame？含具体场景示例

你当前的问题出在掩码的粒度不对：你用np.isnan(df)生成的是逐元素的布尔矩阵，当你用df[~np.isnan(df)]筛选时，Pandas只是保留每个位置非NaN的元素，但原来列中存在的NaN位置依然会被保留（显示为NaN），并没有删除整个包含NaN的列。

要实现“只保留完全不含NaN的列”，你需要从列级别做判断，而不是逐元素。下面是两种可行的解决方案：

方法一：基于列的NaN判断生成掩码 #

步骤如下：

1. 用df.isna().any(axis=0)判断每一列是否包含至少一个NaN（axis=0表示按列计算），返回一个布尔Series，索引是列名，值为True表示该列有NaN。
2. 对这个Series取反，得到“完全不含NaN的列”的掩码。
3. 用df.loc[:, 掩码]来筛选列。

结合你的示例代码：

import pandas as pd
import numpy as np

# 构造你的示例DataFrame
df = pd.DataFrame(np.reshape(range(25), (5,5)))
df[5] = np.nan

# 生成列级别掩码：True表示该列无NaN
valid_cols_mask = ~df.isna().any(axis=0)
# 筛选列
filtered_df = df.loc[:, valid_cols_mask]

print(filtered_df)

输出结果：

0   1   2   3   4
0   0   1   2   3   4
1   5   6   7   8   9
2  10  11  12  13  14
3  15  16  17  18  19
4  20  21  22  23  24

方法二：直接使用dropna方法（更简洁） #

Pandas内置的dropna方法可以直接删除包含NaN的列，只需指定axis=1（操作列）和how='any'（只要列中有一个NaN就删除）：

filtered_df = df.dropna(axis=1, how='any')

这个方法和方法一的效果完全一致，代码更简洁，适合快速实现需求。

内容的提问来源于stack exchange，提问作者xyhuang