Spark 3.2.1加载Parquet时无法正确推断日期列类型求助

问题根源 #

你遇到的核心问题是：Parquet文件的元数据中该列的类型已经被定义为string，Spark读取Parquet时的inferSchema参数是用来读取Parquet文件自带的元数据类型，而非对字符串内容进行格式解析并推断类型。你之前配置的timestampFormat、datetimeRebaseModeInRead等参数，仅适用于Parquet中存储的是日期/时间类型但存在时区、基准日期兼容问题的场景，无法将字符串类型的列自动转为timestamp。

动态转换列类型的实现方案 #

要在不手动指定Schema或硬编码列名的前提下，动态将符合格式的字符串列转为timestamp，可以通过以下步骤实现：

1. 使用内置函数批量处理（推荐，性能更优）

通过正则去除字符串中的<strong>标签，再利用to_timestamp自动识别日期格式，动态生成转换逻辑：

import org.apache.spark.sql.functions.{col, regexp_replace, to_timestamp}

// 读取Parquet文件（此时列类型还是string）
val inputDf = spark.read.parquet(Input_Path)

// 定义需要匹配的日期格式（对应去除标签后的内容）
val targetDateFormat = "yyyy-MM-dd HH:mm:ss"

// 遍历所有列，对符合条件的字符串列进行转换
val transformedDf = inputDf.select(
  inputDf.columns.map { colName =>
    val cleanedCol = regexp_replace(col(colName), "<strong>|</strong>", "")
    // 尝试转换，转换失败则保留原列（避免非日期列被误转）
    to_timestamp(cleanedCol, targetDateFormat).alias(colName).otherwise(col(colName))
  }: _*
)

// 查看转换后的Schema
transformedDf.printSchema()

2. 自定义UDF实现更灵活的匹配

如果需要更复杂的格式校验，可以自定义UDF来处理：

import org.apache.spark.sql.functions.udf
import org.apache.spark.sql.types.StringType
import java.time.LocalDateTime
import java.time.format.DateTimeFormatter

// 定义日期格式解析器
val formatter = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss")

// 自定义UDF：去除标签并尝试转成timestamp
val parseTimestampUdf = udf((str: String) => {
  Option(str)
    .map(_.replaceAll("<strong>|</strong>", ""))
    .filter(_.matches("\\d{4}-\\d{2}-\\d{2} \\d{2}:\\d{2}:\\d{2}"))
    .map(LocalDateTime.parse(_, formatter))
    .orNull
})

// 批量应用UDF到所有字符串列
val transformedDf = inputDf.select(
  inputDf.columns.map { colName =>
    if (inputDf.schema(colName).dataType.isInstanceOf[StringType]) {
      parseTimestampUdf(col(colName)).alias(colName)
    } else {
      col(colName)
    }
  }: _*
)

关键说明 #

• 上述方案会自动遍历所有列，仅对字符串类型且内容符合带<strong>标签的日期格式的列进行转换，无需手动指定列名。
• 若Parquet文件中该列的元数据类型本身就是string，Spark无法通过读取时的配置直接将其转为timestamp，必须通过后续的转换逻辑处理。
• 推荐使用内置函数方案，因为UDF在大数据量场景下性能不如内置函数。

内容的提问来源于stack exchange，提问作者user13906258