Databricks中跨年度按年/月/日分区读取Delta表的方法咨询

先纠正当前读取代码的错误 #

你当前用spark.read.table(path)是错误的——read.table用于读取Metastore中注册的表，读取路径下的Delta表应该用load方法：

path = "/root/data/foo"
df = spark.read.format("delta").load(path)

核心问题分析与解决 #

你的场景分两种情况，对应不同的处理方案：

情况1：Delta表是通过partitionBy("year", "month", "day")写入的（规范分区方式） #

这种情况下，Delta会自动识别Hive风格的分区文件夹，表结构中会包含year/month/day分区列，可直接利用这些列实现高效过滤，且支持跨年度/跨月份场景。

实现近30天数据过滤

直接将分区列拼接为日期字段，再用日期范围过滤是最简洁的方式，自动处理跨年：

from pyspark.sql.functions import concat_ws, to_date, current_date, date_sub

# 把year/month/day拼接成标准日期字段
df_with_date = df.withColumn(
    "date",
    to_date(concat_ws("-", "year", "month", "day"), "yyyy-MM-dd")
)

# 过滤近30天数据（用Spark内置日期函数避免时区差异）
df_filtered = df_with_date.filter(
    df_with_date.date.between(date_sub(current_date(), 30), current_date())
)

filter行为说明：此时Spark会触发分区修剪（Partition Pruning），只读取符合日期范围的分区文件夹，不会扫描全部数据，性能极高。

情况2：Delta表未设置分区列，仅手动按文件夹存放文件（无year/month/day列） #

这种情况下需要从文件路径中解析日期信息，再进行过滤：

步骤1：从路径提取日期

通过input_file_name()获取文件路径，用正则解析出年/月/日：

from pyspark.sql.functions import input_file_name, regexp_extract, to_date

df = spark.read.format("delta").load("/root/data/foo")

# 从路径中提取日期组件并转换为标准日期
df_with_date = df.withColumn("file_path", input_file_name()) \
    .withColumn("year", regexp_extract("file_path", r"year=(\d{4})", 1)) \
    .withColumn("month", regexp_extract("file_path", r"month=(\d{2})", 1)) \
    .withColumn("day", regexp_extract("file_path", r"day=(\d{2})", 1)) \
    .withColumn("date", to_date(concat_ws("-", "year", "month", "day"), "yyyy-MM-dd"))

步骤2：过滤近30天数据

和情况1的过滤逻辑一致：

from pyspark.sql.functions import current_date, date_sub

df_filtered = df_with_date.filter(
    df_with_date.date.between(date_sub(current_date(), 30), current_date())
)

filter行为说明：这种方式需要先扫描所有文件，再在内存中过滤数据，性能比分区表差，建议尽量改用规范的分区写入方式。

每日刷新任务最佳实践 #

1. 在Databricks作业中设置每日定时触发（比如凌晨1点），避免手动执行。
2. 用Spark内置的current_date()获取任务运行当天的日期，避免Python本地时间和Spark集群时区不一致的问题。

内容的提问来源于stack exchange，提问作者Simon Breton