如何在Databricks中设置日期字段月度分区及验证分区可用性

方案1：直接通过日期函数生成虚拟分区列（无需新增物理字段） #

无需在表结构中添加额外字段，直接基于source_timestamp的日期计算结果作为分区键。Delta会将该计算列作为分区元数据存储，不占用物理存储。

创建表示例（SQL）：

CREATE TABLE your_delta_table (
  id INT,
  content STRING,
  source_timestamp TIMESTAMP
)
PARTITIONED BY (date_trunc('month', source_timestamp) AS source_month)
USING DELTA
LOCATION '/delta/table/path';

写入数据时（PySpark），先计算分区列再写入：

from pyspark.sql.functions import date_trunc, col

# 生成月度分区列
processed_df = df.withColumn("source_month", date_trunc("month", col("source_timestamp")))

# 写入Delta表并按分区列存储
processed_df.write.format("delta") \
  .partitionBy("source_month") \
  .mode("append") \
  .save("/delta/table/path")

方案2：新增物理分区字段后分区 #

先在表结构中添加source_timestamp_month字段，将source_timestamp转换为月度格式后存入该字段，再按其分区。

创建表示例（SQL）：

CREATE TABLE your_delta_table (
  id INT,
  content STRING,
  source_timestamp TIMESTAMP,
  source_timestamp_month DATE -- 也可以用STRING类型，如'2024-05'
)
PARTITIONED BY (source_timestamp_month)
USING DELTA
LOCATION '/delta/table/path';

写入数据时（PySpark）：

from pyspark.sql.functions import date_trunc, col

# 转换为月度日期
processed_df = df.withColumn(
  "source_timestamp_month",
  date_trunc("month", col("source_timestamp")).cast("date")
)

processed_df.write.format("delta") \
  .partitionBy("source_timestamp_month") \
  .mode("append") \
  .save("/delta/table/path")

分两种情况判断：

1. 使用虚拟分区列（方案1）：
   Spark Catalyst优化器会自动将source_timestamp的范围条件转换为对分区列的过滤。例如查询WHERE source_timestamp BETWEEN '2024-01-01' AND '2024-01-31'，优化器会识别出对应source_month = '2024-01-01 00:00:00'，直接触发分区裁剪，只扫描目标月份的分区。

2. 使用物理分区字段（方案2）：
   只要source_timestamp的查询条件能明确映射到source_timestamp_month的取值，优化器同样会自动做分区裁剪。比如WHERE source_timestamp >= '2024-03-01' AND source_timestamp < '2024-04-01'，会被推断为source_timestamp_month = '2024-03-01'，只扫描对应分区。但如果是模糊条件（如WHERE source_timestamp LIKE '%2024%'），优化器无法精准映射到分区，可能不会触发裁剪。

可以用EXPLAIN命令验证：

EXPLAIN SELECT * FROM your_delta_table WHERE source_timestamp BETWEEN '2024-01-01' AND '2024-01-31';

若查询计划中出现PartitionFilters条目，说明分区裁剪已生效。

内容的提问来源于stack exchange，提问作者archjkeee