PySpark读取本地PARQUET文件：避免硬编码路径的方法

以下几种方法可以帮你摆脱硬编码路径，实现更灵活的Parquet文件读取：

1. 读取指定分区目录（推荐） #

Spark支持直接读取分区目录，会自动加载目录下所有Parquet文件，还能将day=xxx这类目录结构解析为DataFrame的分区列。只需将日期参数化，就能动态切换读取的分区：

target_day = "20220815"

# 读取customer目录下指定day分区的所有文件
customer_df = spark.read.parquet(f"customer/day={target_day}")
# 读取customer_interaction目录下指定day分区的所有文件
customer_interaction_df = spark.read.parquet(f"customer_interaction/day={target_day}")

优势：无需关注具体的part文件名，即使目录下新增多个part文件也能自动加载，代码简洁易维护。

2. 读取根目录并过滤分区 #

如果需要动态筛选多个分区，或者不想在路径中指定分区值，可以直接读取根目录，再通过where过滤分区列：

target_day = "20220815"

# 读取customer根目录，自动识别day分区列并过滤
customer_df = spark.read.parquet("customer").where(f"day = '{target_day}'")
# 读取customer_interaction根目录并过滤分区
customer_interaction_df = spark.read.parquet("customer_interaction").where(f"day = '{target_day}'")

优势：Spark会自动执行分区裁剪，只加载符合条件的分区数据，性能不受影响，适合多日期批量处理场景。

3. 通过环境变量/配置文件传递路径参数 #

在生产环境中，推荐将路径、日期这类可变参数放到环境变量或配置文件中，代码读取参数而非硬编码：

设置环境变量（Linux/macOS示例） #

export DATA_DAY=20220815
export CUSTOMER_DATA_ROOT="./customer"
export INTERACTION_DATA_ROOT="./customer_interaction"

代码中读取参数 #

import os

target_day = os.getenv("DATA_DAY")
customer_root = os.getenv("CUSTOMER_DATA_ROOT")
interaction_root = os.getenv("INTERACTION_DATA_ROOT")

customer_df = spark.read.parquet(f"{customer_root}/day={target_day}")
customer_interaction_df = spark.read.parquet(f"{interaction_root}/day={target_day}")

优势：修改参数无需改动代码，符合工程化部署规范，便于运维管理。

4. 动态遍历目录获取文件路径（特殊场景） #

如果需要自定义文件筛选规则（比如只加载特定前缀的part文件），可以用Python的glob模块遍历目录收集文件路径：

import glob

target_day = "20220815"
# 匹配指定目录下的所有snappy.parquet文件
customer_files = glob.glob(f"customer/day={target_day}/*.snappy.parquet")
interaction_files = glob.glob(f"customer_interaction/day={target_day}/*.snappy.parquet")

# 展开文件列表传给Spark
customer_df = spark.read.parquet(*customer_files)
customer_interaction_df = spark.read.parquet(*interaction_files)

优势：灵活性最高，可根据自定义规则筛选文件，但一般场景下前三种方法更高效简洁。

内容的提问来源于stack exchange，提问作者Shashank Tiwari