Databricks中PySpark合并后如何保留DateType数据类型？

1. Delta Lake默认开启自动Schema演进：由于TimestampType的取值范围完全覆盖DateType（Date本质是仅保留日期部分的Timestamp），当MERGE操作的源数据中CreatedOn字段为TimestampType，或合并过程中该字段被隐式转换为Timestamp时，Delta会自动将目标表的CreatedOn字段类型升级为TimestampType，以此兼容源数据的类型。
2. 源数据类型不匹配：若MERGE使用的源DataFrame中CreatedOn实际是TimestampType（比如读取数据时解析逻辑出错），合并时Delta会自动调整目标表Schema以匹配源数据类型。

• 提前锁定目标表Schema：
  创建Delta表时显式指定CreatedOn为DATE类型，同时关闭自动Schema演进，避免类型被自动变更：

  from pyspark.sql.types import StructType, StructField, DateType
  # 定义包含CreatedOn的完整Schema
  target_schema = StructType([
      # 其他字段定义
      StructField("CreatedOn", DateType(), nullable=True)
  ])
  # 首次写入时指定Schema并关闭自动合并
  df.write.format("delta")\
    .schema(target_schema)\
    .option("mergeSchema", "false")\
    .save(saveloc)
  

  也可通过SQL直接创建表：

  CREATE TABLE IF NOT EXISTS target_table (
    -- 其他字段
    CreatedOn DATE
  ) USING DELTA LOCATION '{saveloc}'
  

• 合并前统一源数据类型：
  执行MERGE操作前，强制将源DataFrame的CreatedOn字段转为DateType，确保与目标表类型一致：

  from pyspark.sql.functions import col
  source_df = source_df.withColumn("CreatedOn", col("CreatedOn").cast(DateType()))
  

• 修复已变更的Delta表：
  如果表的CreatedOn已经变为TimestampType，可通过修改Schema改回DateType（Timestamp的时间部分会被自动截断为日期）：

  ALTER TABLE delta.`{saveloc}` ALTER COLUMN CreatedOn TYPE DATE;
  

  或用DataFrame重写数据并覆盖Schema：

  lakeDataDrop = spark.read.format("delta").load(saveloc)
  lakeDataDrop = lakeDataDrop.withColumn("CreatedOn", col("CreatedOn").cast(DateType()))
  lakeDataDrop.write.format("delta")\
    .mode("overwrite")\
    .option("overwriteSchema", "true")\
    .save(saveloc)
  

内容的提问来源于stack exchange，提问作者Patterson