Pandas 0.24.1中如何将NaN和NaT替换为None

你的需求确实有点棘手，因为pandas的原生数据类型（比如float64、datetime64）本身不支持存储Python的None——它们只能用对应类型的缺失标记（NaN/NaT）。要实现替换为None同时尽量保留原类型，我们需要分情况处理：

可行的解决方案 #

下面这个函数会根据序列的类型和是否存在缺失值，选择对应的处理逻辑：

import pandas as pd

def replace_missing(ser):
    # 处理datetime类型序列：必须转object才能存储None
    if pd.api.types.is_datetime64_dtype(ser):
        return ser.astype(object).where(pd.notna(ser), None)
    # 处理其他类型序列
    else:
        # 如果没有缺失值，直接返回原序列保留原类型
        if not ser.isna().any():
            return ser.copy()
        # 有缺失值的话，转object类型替换为None
        else:
            return ser.astype(object).where(pd.notna(ser), None)

测试验证 #

用你的测试代码验证一下：

NaN = float('nan')
NaT = pd.NaT
floats1 = pd.Series((NaN, NaN, 2.71828, -2.71828))
floats2 = pd.Series((2.71828, -2.71828, 2.71828, -2.71828))
dates = pd.Series((NaT, NaT, pd.Timestamp("2019-07-09"), pd.Timestamp("2020-07-09")))

print(pd.__version__)
print(80*"-")
result_dates = replace_missing(dates)
print(result_dates)
print(f"dtype: {result_dates.dtype}")
print(80*"-")
result_floats1 = replace_missing(floats1)
print(result_floats1)
print(f"dtype: {result_floats1.dtype}")
print(80*"-")
result_floats2 = replace_missing(floats2)
print(result_floats2)
print(f"dtype: {result_floats2.dtype}")

输出结果 #

0.24.1
--------------------------------------------------------------------------------
0                       None
1                       None
2    2019-07-09 00:00:00
3    2020-07-09 00:00:00
dtype: object
--------------------------------------------------------------------------------
0     None
1     None
2    2.71828
3   -2.71828
dtype: object
--------------------------------------------------------------------------------
0    2.71828
1   -2.71828
2    2.71828
3   -2.71828
dtype: float64

逻辑说明 #

1. datetime类型序列：datetime64 dtype是向量化的，只能用NaT表示缺失，无法存储None，所以必须转成object类型才能替换成功。
2. 数值类型序列：
   • 如果没有缺失值，直接返回原序列，保留float64类型；
   • 如果有缺失值，必须转成object类型才能存储None（因为float64只能用NaN表示缺失）。

这个方案既满足了替换缺失值为None的需求，又尽可能保留了无缺失序列的原生数据类型。

内容的提问来源于stack exchange，提问作者spiderface