如何在Pandas中检测并区分不同类型的NA值？

问题描述 #

pandas的DataFrame.isna()可以识别所有类NA值，但实际场景中需要区分数值型（np.nan）、字符串型（pd.NA）或时间戳型（pd.NaT）的NA值。例如使用replace()时，pd.NA与pd.NaT会被同等处理，导致非目标类型的NA被错误替换：

import pandas as pd
import numpy as np
from datetime import datetime

floaty = pd.Series([np.nan, 2.0, 3.0], dtype=float)
stringy = pd.Series(["one", pd.NA, "two"], dtype=str)
timy = pd.Series([datetime(2000, 1, 1), datetime(2000, 1, 2), pd.NaT], dtype="datetime64[ns]")
df = pd.DataFrame({"floaty": floaty, "stringy": stringy, "timy": timy})

print(df)
# 输出：
#    floaty stringy       timy
# 0     NaN     one 2000-01-01
# 1     2.0    <NA> 2000-01-02
# 2     3.0     two        NaT

df_removed_na_string = df.replace({pd.NA: "fake_string"})
print(df_removed_na_string)
# 实际输出（pandas 2.2.2）：
#    floaty     stringy       timy
# 0     NaN         one 2000-01-01
# 1     2.0  fake_string 2000-01-02
# 2     3.0         two  fake_string

预期仅替换字符串列的pd.NA，但时间列的pd.NaT也被替换成了字符串，临时按列循环处理的方案实现复杂，且无法处理混合类型的object列。

解决方案 #

1. 按列数据类型针对性替换 #

利用不同类型NA的专属标识，针对特定数据类型的列进行替换：

• 数值型NA：np.nan
• 字符串型NA（string dtype列）：pd.NA
• 时间戳型NA：pd.NaT

示例代码：

df_removed_na_string = df.copy()
# 筛选所有字符串类型的列
string_columns = df_removed_na_string.select_dtypes(include="string").columns
# 仅在这些列中替换pd.NA
df_removed_na_string[string_columns] = df_removed_na_string[string_columns].replace(pd.NA, "fake_string")

print(df_removed_na_string)
# 输出符合预期：
#    floaty     stringy       timy
# 0     NaN         one 2000-01-01
# 1     2.0  fake_string 2000-01-02
# 2     3.0         two        NaT

2. 处理混合类型的object列 #

对于包含字符串、数值、时间戳的object dtype列，可通过apply()逐元素判断类型后替换：

def replace_only_string_na(element):
    # 仅当元素是pd.NA且属于字符串类型时替换
    if pd.isna(element) and isinstance(element, str):
        return "fake_string"
    return element

# 构造混合类型列的示例DataFrame
df_mixed = pd.DataFrame({
    "mixed_col": ["hello", pd.NA, 123, pd.NaT, np.nan]
})

df_mixed["mixed_col"] = df_mixed["mixed_col"].apply(replace_only_string_na)
print(df_mixed)
# 输出：
#       mixed_col
# 0         hello
# 1  fake_string
# 2           123
# 3          NaT
# 4          NaN

3. 使用mask方法精准定位替换 #

通过mask()结合类型判断，精准替换目标类型的NA：

# 对指定字符串列替换
df["stringy"] = df["stringy"].mask(
    df["stringy"].isna() & (df["stringy"].dtype == "string"),
    "fake_string"
)

# 对混合object列替换
df["mixed_col"] = df["mixed_col"].mask(
    df["mixed_col"].isna() & df["mixed_col"].apply(lambda x: isinstance(x, str)),
    "fake_string"
)

内容的提问来源于stack exchange，提问作者UJM