Spark 3.0 Timestamp列partitionBy行为变化及类型保留方案咨询

这个问题是Spark 2.x到3.0版本迁移时很常见的兼容性问题，我来帮你拆解清楚：

一、行为变化的原因 #

Spark 3.0.0对分区列的类型推断逻辑做了针对性优化：

• 在Spark 2.4.x中，当你用Timestamp类型列做partitionBy写入Parquet时，分区路径会被格式化为timestamp=yyyy-MM-dd的字符串（分区目录名通常不会保留时分秒精度），但读取时Spark会自动将这个日期字符串转换回Timestamp类型（时分秒默认补00:00:00）。
• 而Spark 3.0.0开始，为了更贴合实际分区场景（大多数用Timestamp分区的用户其实是按日期维度分区），默认会把分区路径中的yyyy-MM-dd格式字符串推断为Date类型，而不是Timestamp，这就是你看到读取后timestamp列被截断为日期的原因。

这个变化是官方有意为之的优化，并非bug，目的是减少不必要的类型转换和避免潜在的精度误解。

二、解决方法（三种可选，按需选择） #

1. 关闭分区列自动类型推断（最推荐） #

通过配置spark.sql.sources.partitionColumnTypeInference.enabled为false，强制Spark读取时使用写入数据时保存的元数据类型（也就是原始的Timestamp类型），而不是重新推断。

你可以在创建SparkSession时全局配置：

val spark = SparkSession.builder()
  .appName("TimestampPartitionFix")
  .config("spark.sql.sources.partitionColumnTypeInference.enabled", "false")
  .getOrCreate()

// 之后正常读取即可
val readDF = spark.read.parquet("partition_by_timestamp")

也可以在读取单个文件时临时配置：

val readDF = spark.read
  .option("spark.sql.sources.partitionColumnTypeInference.enabled", "false")
  .parquet("partition_by_timestamp")

2. 手动指定读取Schema #

提前定义包含Timestamp类型的Schema，读取时直接指定，跳过自动推断步骤：

import org.apache.spark.sql.types._
import spark.implicits._

// 定义与写入时一致的Schema
val targetSchema = StructType(Seq(
  StructField("id", IntegerType, nullable = true),
  StructField("str", StringType, nullable = true),
  StructField("timestamp", TimestampType, nullable = true)
))

val readDF = spark.read.schema(targetSchema).parquet("partition_by_timestamp")

3. 读取后转换类型（仅当无法修改读取配置时使用） #

如果已经读取到Date类型的列，可以手动将其转换回Timestamp，但注意：由于分区路径只保留了日期，时分秒会被补为00:00:00，原始的时分秒信息已经丢失（因为写入分区时就没保存到目录名里），所以这种方法只能恢复到日期当天的零点：

import org.apache.spark.sql.functions._

val readDF = spark.read.parquet("partition_by_timestamp")
  .withColumn("timestamp", to_timestamp(col("timestamp").cast(StringType)))

验证效果 #

用第一种方法（关闭自动推断）后，读取的Schema会和写入时一致：

root
 |-- id: integer (nullable = true)
 |-- str: string (nullable = true)
 |-- timestamp: timestamp (nullable = true)

数据也会显示完整的Timestamp值（时分秒补0，因为分区目录没有保存这部分信息）：

+---+---+-------------------+
| id|str|          timestamp|
+---+---+-------------------+
|  1|abd|2020-01-01 00:00:00|
|  2|def|2019-01-01 00:00:00|
+---+---+-------------------+

内容的提问来源于stack exchange，提问作者Daniel Better