PySpark如何高效读取日期分区Parquet文件的前一日记录

核心逻辑 #

按日期字段分区的Parquet数据集通常遵循Hive分区命名规范，目录结构为存储根路径/date=YYYY-MM-DD/数据分片文件。要避免全量读取的性能问题，核心是触发Spark的分区剪枝机制：让Spark在遍历文件列表阶段就直接跳过所有非目标日期的分区，全程不加载无关数据，性能和直接读取单分区文件完全一致。

方案1：直接指定目标分区路径读取（性能最优） #

该方案完全跳过Spark自动分区发现的流程，直接定位到T-1日期对应的分区目录，无任何额外扫描开销，是生产环境定时任务的首选实现。

from datetime import datetime, timedelta
import pytz

# 显式指定业务对应时区，避免集群默认UTC时区导致日期计算偏差，国内业务一般使用Asia/Shanghai
BUSINESS_TIMEZONE = pytz.timezone("Asia/Shanghai")
# 计算当前日期减1天，格式化为和分区名匹配的YYYY-MM-DD格式
target_date = (datetime.now(BUSINESS_TIMEZONE) - timedelta(days=1)).strftime("%Y-%m-%d")
# 拼接目标分区的完整路径，可根据实际分区命名规则调整
target_partition_path = f"/path/to/your/parquet/root/date={target_date}"

# 直接读取目标路径，不会触碰其他日期的任何文件
df = spark.read.parquet(target_partition_path)

适用场景：分区命名规则固定、仅需读取单天分区的离线/定时调度任务。

方案2：根路径读取+分区字段过滤（适配灵活场景） #

如果需要动态读取多分区、或者不想硬编码路径拼接规则，可以在读取根路径时直接添加分区字段过滤条件，Spark会自动执行分区剪枝，仅扫描匹配条件的分区。

注意：不要先读取全量根路径生成DataFrame再执行filter，虽然Spark Catalyst优化器多数场景会自动做谓词下推，但直接在读取链路添加过滤条件更稳妥，能避免优化器失效导致的全量扫描。

# 显式开启相关配置，防止集群默认配置被修改导致剪枝失效
spark.conf.set("spark.sql.parquet.filterPushdown", "true")
spark.conf.set("spark.sql.session.timeZone", "Asia/Shanghai") # 强制对齐业务时区

# 读取根路径时直接绑定分区过滤条件
df = spark.read.parquet("/path/to/your/parquet/root") \
    .where("date = date_sub(current_date(), 1)")

执行后可调用df.explain(True)查看物理执行计划，只要在PartitionFilters条目下看到类似(date#xxx = 2024-xx-xx)的内容，即证明分区剪枝生效，不会扫描全量数据。

常见踩坑点 #

• 禁止对分区字段套用任何函数：比如写where substring(date, 1, 10) = '2024-05-20'、where to_date(date) = xxx这类逻辑时，Spark无法识别分区过滤规则，会扫描所有分区后再做过滤，性能和全量读取没有区别。
• 时区必须和业务对齐：不管是Python侧计算日期还是Spark SQL内置函数计算日期，都要显式指定和数据生产一致的时区，默认UTC时区的集群直接计算日期大概率会出现1天的偏差，导致读错分区。
• 分区字段类型要匹配：如果分区字段date是字符串类型，比较时直接传YYYY-MM-DD格式的字符串即可；如果是Date类型，就传入日期类型值，避免隐式类型转换导致剪枝失效。

内容的提问来源于stack exchange，提问作者datadoubts