Spark 3.0.2 Parquet String分区列读取丢失前导零问题排查

你遇到的问题和写入阶段的repartition、sortWithinPartitions操作完全无关，本质是Spark读取分区目录时默认触发的分区值自动类型推断机制的副作用，具体逻辑如下：

• 当你使用partitionBy("codeDepartement")写入Parquet时，分区列的值会被从数据块中剥离，仅作为目录名生成codeDepartement=xxx格式的存储路径，Parquet文件内部不会存储该列的实际值，后续读取时该列的值完全靠解析目录名补全。
• Spark 3.0.x默认开启分区值类型自动推断，在解析目录名的键值对时，会逐值尝试把字符串形式的分区值推断为更具体的类型（整数、浮点数、日期等）：
  • 遇到无法转换为数值的取值（如"2A"、"red"），会自动保留原始字符串，因此这类值读取后完全正常。
  • 遇到纯数字格式的取值（如"01"），会优先推断为整数类型——这个阶段"01"作为整数被解析为数值1，原始字符串的前导零直接丢失；后续即使按照你声明的StringType schema把数值转回字符串，得到的结果也已经是"1"，而非原始的"01"。
• 你看到的Parquet文件声明该列为StringType没有实际参考意义：因为使用partitionBy写入时，Spark会将分区列从实际的Parquet数据块中剥离，这部分列的信息属于表级元数据，Parquet文件内部根本不存储codeDepartement列的实际值；表元数据里的String类型声明，不会干预读取阶段解析目录值时的自动类型推断逻辑。

• 关闭分区值自动类型推断
  调整Spark配置spark.sql.sources.partitionColumnTypeInference.enabled为false，即可强制Spark把所有解析到的分区值直接作为字符串读取，不会做额外的类型转换，从根源上避免前导零丢失。
  配置可以全局设置，也可以在读取Parquet时单独通过option指定：

  // 全局设置
  spark.conf.set("spark.sql.sources.partitionColumnTypeInference.enabled", "false")
  // 读取时单独指定
  val df = spark.read
    .option("spark.sql.sources.partitionColumnTypeInference.enabled", "false")
    .parquet("你的存储路径")
  

• 读取时显式指定分区列的String类型schema
  如果你不想全局关闭类型推断，可以在读取Parquet时，手动构造包含codeDepartement: StringType定义的schema，显式传给读取方法。这个方式会覆盖Spark默认的自动推断逻辑，直接按照你指定的字符串类型解析分区目录值，完整保留前导零。

• 为什么普通的字符串分区值（如red、blue、yellow）读取正常？因为这类值无法被推断为数值类型，Spark会直接保留原字符串，不会触发类型转换的丢值逻辑。
• 为什么写入时生成的分区目录完全正确？因为写入阶段是直接按照列的原始字符串值生成目录路径的，类型推断逻辑仅发生在读取端，因此不会出现写入时目录名丢前导零的问题。

内容的提问来源于stack exchange，提问作者Marc Le Bihan