PySpark如何按动态日期范围读取按年月日分区的Parquet文件

你使用DateDiff结合字段拼接的过滤写法无法生效，核心原因是分区谓词下推失效：查询引擎无法将拼接计算后的日期过滤逻辑，关联到year、month、day三个独立的分区字段，最终会扫描全量分区数据再做过滤，既会造成性能浪费，也可能出现不符合预期的执行结果。

方案1：动态生成分区过滤条件（无需修改现有分区结构，最通用） #

核心思路是提前计算出需要拉取的最近X天的所有日期，将每个日期对应的分区过滤条件拼接后传入查询，引擎可以直接识别分区字段，完美触发谓词下推。

Python+Spark 代码示例 #

from datetime import datetime, timedelta

X = 7 # 按需调整为要拉取的最近天数
filter_list = []
for i in range(X):
    current_dt = datetime.now() - timedelta(days=i)
    y, m, d = current_dt.year, current_dt.month, current_dt.day
    filter_list.append(f"(year = {y} AND month = {m} AND day = {d})")
final_filter = " OR ".join(filter_list)

# 读取数据时传入过滤条件
df = spark.read.parquet("你的数据集存储根路径").filter(final_filter)

SQL 写法示例（适配Hive/Spark SQL） #

WITH date_range AS (
    -- 生成最近X天的日期序列，将%s替换为实际天数
    SELECT date_sub(current_date(), x) AS dt
    FROM lateral view posexplode(split(space(%s), ' ')) t AS x, val
    WHERE x < %s
)
SELECT 你需要的字段
FROM 你的表名 a
INNER JOIN date_range b
ON a.year = year(b.dt) AND a.month = month(b.dt) AND a.day = day(b.dt)

注意：如果X的取值大于90天，推荐将日期按年月分组生成范围过滤条件，避免拼接过多OR语句，逻辑更简洁，执行效率无差异，示例如下：

-- 例如拉取2024-03-28到2024-04-03的范围数据
WHERE (year = 2024 AND month = 3 AND day >= 28)
OR (year = 2024 AND month = 4 AND day <= 3)

方案2：新增dt日期分区（长期优化方案） #

如果业务经常需要按日期范围拉取数据，建议调整分区结构，新增一级dt=yyyy-mm-dd的日期分区，原有year/month/day分区可按需保留或删除，之后直接过滤dt字段即可：

WHERE dt >= date_sub(current_date(), %s) AND dt <= current_date()

该写法天然支持谓词下推，代码更简洁，查询性能最优。

内容的提问来源于stack exchange，提问作者DataCrankn