Pydeequ如何实现datetime日期时间列的数据类型校验

PyDeequ 原生hasDataType方法的支持类型范围不包含Date、Datetime类时间类型，支持范围参考：

直接在现有基于Verification Suite的校验流程里，用下面两种适配方案就能实现日期时间类型的合法性校验，不用改现有流程框架。

方案1：格式+值合法性校验（适配字符串存储的日期/时间字段） #

大部分数仓场景里日期时间字段都是字符串格式存储，需要同时校验格式合规、日期值合法，避免纯正则漏判2024-13-01、2024-02-30这类格式正确但值不存在的脏数据。直接用Check类的satisfies方法自定义校验规则，组合正则格式匹配+Spark内置日期解析函数判断即可。
示例代码：

from pydeequ.checks import Check, CheckLevel
from pydeequ.verification import VerificationSuite, VerificationResult

# 初始化校验器，可直接合并到你现有校验流程的Check对象中
check = Check(CheckLevel.Error, "datetime_type_validation")

# 校验date_col字段符合yyyy-MM-dd的Date格式要求
check = check.satisfies(
    """
    rlike(cast(date_col as string), '^[0-9]{4}-[0-9]{2}-[0-9]{2}$')
    AND to_date(date_col, 'yyyy-MM-dd') is not null
    """,
    "date_col字段符合Date类型规范",
    lambda x: x == 1.0  # 100%行满足规则即通过，可根据业务容忍度调整阈值
)

# 校验datetime_col字段符合yyyy-MM-dd HH:mm:ss的Datetime格式要求
check = check.satisfies(
    """
    rlike(cast(datetime_col as string), '^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}$')
    AND to_timestamp(datetime_col, 'yyyy-MM-dd HH:mm:ss') is not null
    """,
    "datetime_col字段符合Datetime类型规范",
    lambda x: x == 1.0
)

# 接入现有Verification Suite流程执行即可
verification_result = VerificationSuite(spark) \
    .onData(your_target_df) \
    .addCheck(check) \
    .run()

result_df = VerificationResult.checkResultsAsDataFrame(spark, verification_result)

方案2：Schema类型校验（适配Spark原生日期类型字段） #

如果入仓字段已经是Spark原生DateType/TimestampType类型，不需要做逐行格式解析校验，可以在执行Verification Suite前加一层Schema类型检查，快速拦截字段类型读取错误的问题。
示例代码：

# 定义字段的预期类型
expected_col_types = {
    "date_col": "date",
    "datetime_col": "timestamp"
}

# 逐字段校验Schema类型
actual_col_types = dict(your_target_df.dtypes)
for col_name, expected_type in expected_col_types.items():
    if actual_col_types.get(col_name) != expected_type:
        raise ValueError(f"字段{col_name}类型不符合预期，期望{expected_type}，实际{actual_col_types.get(col_name)}")

实用提示 #

• 以上自定义校验规则可以和你现有hasDataType做的基础类型校验、其他数据质量规则放在同一个Check对象里，不用拆分Verification Suite任务
• 如果业务需要兼容多种日期格式，在satisfies的判断条件里用or拼接多组格式的解析判断逻辑即可，不要只依赖正则匹配
• 校验阈值可以根据业务对脏数据的容忍度调整，比如允许0.1%的脏数据就把阈值改成lambda x: x >= 0.999

内容的提问来源于stack exchange，提问作者Murugan S