Spark 3.5中如何通过路径插值实现按月日目录分桶输出？

核心方案：partitionBy + 配置参数 #

Spark 3.5完全支持partitionBy，这就是你要的标准解决方案，不需要循环或者你设想的路径插值（$month/$day这种写法本身不支持）。要实现09/27这种无列名前缀的分区目录格式，只需配合两个关键配置：

• 禁用分区列名前缀：设置spark.sql.sources.partitionColumnTypeInference.enabled和spark.sql.partitionColumnTypeInference.enabled为false（Spark 3.5中两个都配置更稳妥）
• 指定分区列：用partitionBy("month", "day")指定分区维度，最终会生成根路径/09/27的目录结构

完整代码示例 #

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("CustomPartitionWrite")
  .config("spark.sql.sources.partitionColumnTypeInference.enabled", "false")
  .config("spark.sql.partitionColumnTypeInference.enabled", "false")
  .getOrCreate()

// 假设processedDF是你过滤后、已包含month（字符串类型，如"09"）和day（字符串类型，如"27"）列的数据集
val processedDF = ... 

processedDF.write
  .mode("overwrite") // 根据需求选择：append/overwrite/ignore等
  .option("header", "false") // 按需添加其他写入选项
  .partitionBy("month", "day")
  .json("/your/base/output/path")

关键细节说明 #

• 分区列格式：必须保证month和day是字符串类型（比如"09"而非数字9），这样生成的目录名才是两位格式，和原始数据路径匹配。如果是数字类型，Spark会生成9/27，不符合需求，可提前用lpad或date_format将列转成补零的字符串。
• 性能问题：你提到的分区不均确实存在——如果某些日期数据量极大，会导致对应分区的任务压力集中。可通过以下方式缓解：
  • 增加hour作为额外分区（你已经有hour列），打散数据
  • 对数据量异常大的日期单独处理，避免单分区过载
• 为什么不用循环：循环遍历每个日期写入会触发多次Spark作业，性能远低于partitionBy的批量写入，且代码冗余、维护成本高。partitionBy是Spark官方推荐的分区写入方案，在任务调度、数据 shuffle 上有更优的优化。

内容的提问来源于stack exchange，提问作者Etki