使用df.replace无法将pd.NaT替换为np.nan/None的问题求助

问题根源 #

datetime64[ns]类型列仅支持存储datetime对象或pd.NaT（该类型专属缺失值标识），而np.nan属于float类型缺失值，二者类型不兼容，直接用df.replace(pd.NaT, np.nan)会因类型校验失败而无效；替换为字符串时Pandas会自动将列转为object类型（支持任意值存储），因此可以成功。

高效解决方案 #

针对大规模DataFrame，推荐以下两种针对性操作（仅处理datetime列，避免全表遍历）：

方法1：类型转换+批量替换

先筛选datetime列，转为object类型后替换NaT为np.nan：

# 筛选所有datetime类型列
datetime_cols = df.select_dtypes(include=['datetime64[ns]']).columns
# 转换类型并替换缺失值
df[datetime_cols] = df[datetime_cols].astype(object).replace(pd.NaT, np.nan)

方法2：使用mask高效替换

mask方法性能优于普通replace，直接根据缺失条件替换：

datetime_cols = df.select_dtypes(include=['datetime64[ns]']).columns
df[datetime_cols] = df[datetime_cols].mask(df[datetime_cols].isna(), np.nan)

后续fillna操作 #

完成替换后，直接执行df.fillna('')即可将所有缺失值（含原NaT转换后的np.nan）替换为空字符串，无需链式操作。

内容的提问来源于stack exchange，提问作者rams