如何让PySpark DataFrame分区的S3键名使用字面冒号而非编码%3A

这个问题本质是Hadoop的S3文件系统客户端默认会对URI中的特殊字符进行URL编码，冒号属于URI规范里的特殊分隔符，所以被自动转成了%3A。要让分区键里保留字面冒号，有两种可行的解决办法：

方法1：禁用S3 URI编码 #

通过配置Spark的Hadoop参数，直接关闭S3路径的URI编码功能。根据你使用的S3协议（s3/s3n/s3a），设置对应的编码开关即可：

如果用的是s3a（当前推荐的现代S3客户端），在创建SparkSession时添加如下配置：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("WritePartitionWithColons") \
    .config("spark.hadoop.fs.s3a.encode.uri", "false") \
    .getOrCreate()

# 你的DataFrame处理逻辑
# df = ... 

# 写入分区Parquet
df.write.partitionBy('d').parquet('s3://somebucket/out/')

如果是s3n或s3旧协议，把配置项换成spark.hadoop.fs.s3n.encode.uri或spark.hadoop.fs.s3.encode.uri即可。

这个方法的优势是不需要修改你的DataFrame数据，直接通过配置解决编码问题。不过要注意：禁用URI编码后，如果你的路径中包含其他URI特殊字符（比如?、#等），可能会导致路径解析异常，所以确保你的分区键只有日期时间里的冒号这类安全字符。

方法2：提前转换日期列为字符串格式 #

如果你不想修改Hadoop配置，也可以把日期列转换成固定格式的字符串，确保冒号被保留：

from pyspark.sql.functions import date_format

# 将日期列d转换成指定格式的字符串，保留时分秒的冒号
df_formatted = df.withColumn("d", date_format("d", "yyyy-MM-dd HH:mm:ss"))

# 写入分区Parquet
df_formatted.write.partitionBy('d').parquet('s3://somebucket/out/')

不过这个方法需要确认你的日期列原本的类型是Timestamp或Date，转换后的字符串格式和你期望的完全一致。

内容的提问来源于stack exchange，提问作者Jared