查询Pandas DataFrame列空值时出现矛盾结果的技术问询

问题描述 #

我正在清洗Kaggle泰坦尼克号数据集的测试数据，需要排查Sex、Fare、Pclass和Age列的空值。加载数据的代码如下：

import pandas as pd
test_address = 'path_to_data\test.csv'
test = pd.read_csv(test_address)

但在检查Sex列空值时，我遇到了矛盾的结果：

• 执行True in test['Sex'].isna()返回True，暗示存在空值
• 但执行test['Sex'].isna().value_counts()返回：

  False    418
  Name: Sex, dtype: int64
  

这说明Sex列没有空值。请问这是什么原因？

解答 #

嗨，这个问题其实是pandas里一个容易踩的小坑——in操作符在Series上的行为和直觉不一样！

当你写True in test['Sex'].isna()时，pandas并不是在检查这个布尔Series的值里有没有True，而是在检查它的索引标签里是否存在等于True的项！

举个例子：如果你的test DataFrame索引中恰好有一个标签是True（比如之前做过布尔索引筛选后没重置索引，或者不小心修改过索引结构），那这个表达式就会返回True，和Sex列有没有空值完全无关。

而test['Sex'].isna().value_counts()是实打实统计值的分布的，它显示全为False，说明Sex列确实没有空值。

要正确检查Sex列是否存在空值，推荐用这两种靠谱的方式：

• 使用.any()方法（最常用）：

  test['Sex'].isna().any()
  

  返回True表示有至少一个空值，False则表示完全没有。
• 检查底层数值数组：
  如果一定要用in，可以先通过.values拿到Series的numpy数组再检查：

  True in test['Sex'].isna().values
  

  这样就会检查值而不是索引了。

你可以先验证一下索引的情况，看看是不是真的包含True标签：

print(test.index)

如果索引里确实有True，那这个矛盾的结果就完全说得通啦！

内容的提问来源于stack exchange，提问作者Aniket Deshpande