使用Pandera检查Pandas DateTime索引时间单位的方法

我明白你刚接触pandera，还在摸索它的用法，想找最简洁的方式在类API定义里检查DataFrame索引的datetime单位是不是纳秒而非毫秒——这种想让代码紧凑的想法太合理了！先聊聊你的两次尝试：

解决方案尝试1：直观但无效的写法 #

你一开始按照文档的直觉写法，用dtype_kwargs={'unit': 'ns'}来约束索引，但发现即使索引是毫秒单位也不会触发错误。代码如下：

import pandas as pd
import pandera as pa
from pandera import DataFrameModel, Field
from pandera.typing import Index
from pandera.engines import pandas_engine

class DateIndexSchema(DataFrameModel):
    date: Index[pandas_engine.DateTime] = Field(nullable=False, dtype_kwargs={'unit': 'ns'})

df_wrong_index_type = pd.DataFrame(
    {'value': [100, 200]},
    index=pd.to_datetime(['2023-01-01', '2023-01-02']).astype('datetime64[ms]'),
)

DateIndexSchema.validate(df_wrong_index_type)

这里的问题在于，dtype_kwargs里的unit参数是用来解析datetime数据时指定单位的，而非校验已存在的索引的时间单位。所以它不会对已经是datetime类型的索引做单位校验，自然也就不会抛出你预期的错误。

解决方案尝试2：可行且可靠的写法 #

你的第二种写法是完全可行的，虽然看起来有点啰嗦，但目前确实是类API里实现这个校验的可靠方式：

class DateIndexSchemaThrow(DataFrameModel):
    date: Index[pandas_engine.DateTime] = Field(nullable=False)

    @pa.dataframe_check
    def index_should_be_in_ns(cls, dataframe: pd.DataFrame) -> bool:
        if dataframe.index.dtype != "datetime64[ns]":
            return False
        return True

通过@pa.dataframe_check装饰器自定义一个校验方法，直接检查索引的dtype字符串是否为datetime64[ns]，这样就能精准触发你想要的错误。

其实目前pandera的类API里针对索引时间单位的直接校验支持还比较有限，所以这种自定义检查确实是最稳妥的方式，不用觉得自己漏了什么——很多时候这种自定义逻辑就是处理这类特定需求的最佳实践。

备注：内容来源于stack exchange，提问作者J.K.