pd.Timestamp与np.dtype('O')相等是否为正常行为？

问题背景 #

我开发了一个从字典生成指定列名和数据类型的空DataFrame函数：

import pandas as pd

def return_empty_dataframe(schema: dict[str, np.dtype]): 
    return pd.DataFrame(columns=schema.keys()).astype(schema)

使用示例：

import numpy as np 

schema = {'time': np.datetime64, 'power': float, 'profile': str}  
empty_df = return_empty_dataframe(schema)

为了支持用pd.Timestamp指定列类型（Pandas无法直接识别自身的pd.Timestamp，需转为np.datetime64），我修改了函数：

def return_empty_dataframe(schema: dict[str, np.dtype]): 
    dict_col_types_no_timestamp = {key: val for key, val in schema.items() if val != pd.Timestamp} 
    dict_col_types_just_timestamp = {key: np.datetime64 for key, val in schema.items() if val == pd.Timestamp} 
    dict_col_types = dict_col_types_no_timestamp | dict_col_types_just_timestamp

    return pd.DataFrame(columns=dict_col_types.keys()).astype(dict_col_types)

修改后可以正常使用pd.Timestamp定义列：

schema = {'time': pd.Timestamp, 'power': float, 'profile': str}  
empty_df = return_empty_dataframe(schema)  # 正常运行

但结合自动列类型检测使用时出现问题：object类型（np.dtype('O')）的列被错误识别为pd.Timestamp，验证发现：

pd.Timestamp == np.dtype('O')  # object类型通常用于字符串或混合类型
> True

这导致如下场景中string_data列被错误转为np.datetime64类型：

schema = {'string_data': np.dtype('O'), 'power': float, 'profile': str}  
empty_df = return_empty_dataframe(schema)

原因分析 #

这个==返回True的情况并非符合直觉的“正常行为”，而是Pandas类型系统的一个特殊设计细节。Pandas在类型比较时，会对pd.Timestamp和object类型做隐式的关联判断（比如涉及datetime类型转换的场景），但直接用==比较两个类型对象时出现这个结果，属于容易踩的“坑”。

解决方案 #

要避免这种误判，不能用==来判断是否为pd.Timestamp，而是应该用is来检查对象身份（is判断两个变量是否指向同一个对象，而==是判断值相等）。修改后的函数如下：

import pandas as pd
import numpy as np

def return_empty_dataframe(schema: dict[str, np.dtype]): 
    # 用is严格判断是否为pd.Timestamp对象
    dict_col_types_no_timestamp = {key: val for key, val in schema.items() if val is not pd.Timestamp} 
    dict_col_types_just_timestamp = {key: np.datetime64 for key, val in schema.items() if val is pd.Timestamp} 
    dict_col_types = dict_col_types_no_timestamp | dict_col_types_just_timestamp

    return pd.DataFrame(columns=dict_col_types.keys()).astype(dict_col_types)

测试验证 #

• 测试object类型列：

schema = {'string_data': np.dtype('O'), 'power': float, 'profile': str}  
empty_df = return_empty_dataframe(schema)
print(empty_df.dtypes)
# 输出：
# string_data    object
# power         float64
# profile        object
# dtype: object

• 测试pd.Timestamp类型列：

schema = {'time': pd.Timestamp, 'power': float, 'profile': str}  
empty_df = return_empty_dataframe(schema)
print(empty_df.dtypes)
# 输出：
# time      datetime64[ns]
# power           float64
# profile          object
# dtype: object

两种场景都能正常工作，不会再出现类型错误转换的问题。

内容的提问来源于stack exchange，提问作者Clej