Pandas dropna(how="all",inplace=True)无法删除全部全NaN行/列问题

问题分析 #

1. 缺失值类型不匹配：Pandas的dropna默认针对np.nan（浮点型标准缺失值）处理，而你用Python原生的None标记缺失值，会导致DataFrame列类型转为object，部分全None行无法被精准识别为全缺失行。
2. 循环逻辑冗余且低效：嵌套循环处理603个元素的矩阵速度极慢，且先设下半三角为None、再重复判断赋值的逻辑完全冗余。

解决方案 #

改用NumPy向量化操作生成距离矩阵，统一用np.nan标记缺失值，再完成下半三角屏蔽和区间过滤，最后调用dropna即可正常生效：

import numpy as np
import pandas as pd

mz_array = [1,2,3,4,5,6,7] # 实际为603个元素的列表

# 向量化生成距离矩阵（比嵌套循环效率高两个数量级）
mz_np = np.array(mz_array)
distance_matrix = np.abs(mz_np[:, None] - mz_np[None, :])

# 1. 屏蔽下半三角（含对角线）为缺失值
lower_tri_mask = np.tril(np.ones(distance_matrix.shape, dtype=bool))
distance_matrix[lower_tri_mask] = np.nan

# 2. 屏蔽不在[55, 480]区间的值为缺失值
distance_matrix[(distance_matrix < 55) | (distance_matrix > 480)] = np.nan

# 转为DataFrame并处理列名
df_dm = pd.DataFrame(distance_matrix)
df_dm.columns = df_dm.columns.map(str)

# 此时dropna可正确删除全缺失行
df_dm.dropna(how="all", inplace=True)

原代码失效的核心原因 #

原代码通过iat赋值None，导致DataFrame列从数值型变为object类型。虽然np.isna(None)返回True，但Pandas处理object类型列时，若行内元素类型混杂（如部分是整数、部分是None），会出现全缺失行识别偏差。改用np.nan后，矩阵保持浮点型，dropna可精准识别所有全缺失行。

内容的提问来源于stack exchange，提问作者David B.