Python：删除DataFrame中所有列均为None的行

这种情况我碰到过好几次，大概率是你数据里的“空值”不是pandas能识别的标准NaN/None类型！比如可能是字符串形式的"None"、空字符串""，或者其他被当作有效值的空值标记，导致dropna(how='all')无法识别它们。

下面分步骤解决：

1. 先排查空值的真实类型 #

首先得确认你的“全None行”里到底是什么值：

• 检查哪些行被pandas识别为全NA：

  # 查看被判定为全NA的行数量
  print(df.isna().all(axis=1).sum())
  # 输出这些行看看
  print(df[df.isna().all(axis=1)])
  

• 如果上面输出是空，但你肉眼看到有全“None”的行，那大概率是字符串"None"，可以这样检查：

  # 检查每行是否所有值都是字符串"None"
  mask_str_none = df.apply(lambda row: all(val == "None" for val in row), axis=1)
  print(df[mask_str_none])
  

2. 针对性处理空值后再删除行 #

根据排查结果选择对应的处理方式：

情况1：存在字符串形式的"None" #

先把字符串"None"转换成pandas能识别的空值pd.NA，再执行删除：

# 将所有"None"字符串替换为标准空值
df.replace("None", pd.NA, inplace=True)
# 再删除全空行
df.dropna(axis=0, how="all", inplace=True)

情况2：混合了多种空值（None、""、"None"等） #

统一把所有空值标记转换成pd.NA：

def convert_to_na(x):
    if x in [None, "", "None", "NaN"]:
        return pd.NA
    return x

df = df.applymap(convert_to_na)
df.dropna(axis=0, how="all", inplace=True)

情况3：用自定义掩码直接过滤 #

如果上面的方法还是不行，可以手动生成掩码来筛选非全空行：

# 生成掩码：每行是否所有值都是空值（包括各种形式）
mask = df.apply(lambda row: all(pd.isna(val) or val in ["", "None"] for val in row), axis=1)
# 保留非全空行
df = df[~mask]

3. 验证结果 #

处理完后可以用下面的代码确认全空行已经被删除：

print("剩余全空行数量：", df.isna().all(axis=1).sum())

内容的提问来源于stack exchange，提问作者TeeKay