如何基于阈值筛选Pandas相关矩阵DataFrame的单元格？

嘿，这个问题其实完全不用手动遍历每列的，Pandas的矢量化操作刚好能完美解决，而且效率比循环遍历高太多了——毕竟几百行列的规模，循环会拖慢速度，还写得麻烦。我分两种常见需求给你方案：

需求1：保留符合阈值的单元格，其余设为NaN #

如果你的目标是让DataFrame的结构保持不变（行和列都保留），只把≤0.4的单元格替换为空（NaN），用where()或者mask()一行就能搞定：

import pandas as pd

# 假设你的相关矩阵是df
threshold = 0.4
# 方法1：where保留满足条件的值，其余设为NaN
filtered_df = df.where(df > threshold)

# 方法2：mask把满足条件（≤0.4）的值替换为NaN，效果和上面一致
filtered_df = df.mask(df <= threshold)

这两个方法都是矢量化操作，底层用C实现，处理几百行列完全无压力，比你手动循环每列快N倍。

需求2：仅保留包含至少一个符合阈值单元格的行和列 #

如果你的目标是去掉那些所有单元格都≤0.4的行和列，只留下有有效数据的行和列，可以这样做：

threshold = 0.4
# 先筛选出至少有一个值>0.4的行，再筛选出至少有一个值>0.4的列
filtered_df = df.loc[df.gt(threshold).any(axis=1), df.gt(threshold).any(axis=0)]

解释下：

• df.gt(threshold)会生成一个和原DataFrame形状相同的布尔矩阵，值为True的单元格就是>0.4的
• .any(axis=1)检查每行是否至少有一个True，返回行的布尔索引
• .any(axis=0)检查每列是否至少有一个True，返回列的布尔索引
• 最后用loc[]同时筛选行和列，得到精简后的DataFrame

不推荐的遍历方式（仅作参考） #

如果你之前看到的是遍历列的方案，其实完全没必要，但还是给你写出来对比下——这种方式效率低，还容易产生不必要的NaN：

threshold = 0.4
filtered_df = pd.DataFrame()
for col_name in df.columns:
    # 筛选当前列中>0.4的值
    valid_values = df[col_name][df[col_name] > threshold]
    # 把筛选后的列拼接到新DataFrame
    filtered_df = pd.concat([filtered_df, valid_values], axis=1)

这种方法在数据量大的时候会明显卡顿，所以优先用前面的矢量化方案。

内容的提问来源于stack exchange，提问作者TX412