Spark写入ADLS Gen2时java.sql.Timestamp分区路径格式修正咨询

直接通过Spark配置与分区列格式化规则实现，无需修改java.sql.Timestamp对象本身，具体步骤如下：

1. 关闭Spark分区列类型自动推断 #

Spark默认会自动推断分区列类型并使用默认格式生成路径，我们需要关闭这个特性，避免自动URL编码。在初始化SparkSession时添加配置：

val spark = SparkSession.builder()
  .appName("ADLSGen2Write")
  .config("spark.sql.sources.partitionColumnTypeInference.enabled", "false")
  .getOrCreate()

2. 自定义Timestamp分区的输出格式 #

通过partitionBy指定分区列后，使用option设置timestampFormat，直接生成无编码的路径格式：

格式示例1：yyyy-MM-dd-HH-mm-ss #

df.write
  .mode(SaveMode.Append)
  .partitionBy("__datetime")
  .option("timestampFormat", "yyyy-MM-dd-HH-mm-ss")
  .parquet("abfss://container@storageaccount.dfs.core.windows.net/target-path")

格式示例2：yyyy_MM_dd_HH_mm_ss #

df.write
  .mode(SaveMode.Append)
  .partitionBy("__datetime")
  .option("timestampFormat", "yyyy_MM_dd_HH_mm_ss")
  .parquet("abfss://container@storageaccount.dfs.core.windows.net/target-path")

关键说明 #

• 关闭自动推断后，Spark会严格按照指定的timestampFormat生成分区路径，不会对特殊字符进行URL编码，从根源解决编码不一致问题。
• 全程基于原java.sql.Timestamp类型列操作，无需额外转换为字符串列，避免数据转换开销。

注意事项 #

• 写入和后续读取分区数据时，必须使用相同的timestampFormat配置，否则会出现分区识别失败或类型不匹配问题。
• 该方案适用于Spark 2.3及以上版本，不同版本参数有效性请对应官方文档确认。

内容的提问来源于stack exchange，提问作者user10360768