Databricks Spark读取BigQuery datetime字段秒数丢失问题排查

核心原因 #

1. 参数不适用：timestampFormat是Spark针对CSV、JSON等文本类数据源解析时间的参数，BigQuery连接器基于结构化存储读取数据，该参数无法生效。
2. 类型映射默认行为：BigQuery的DATETIME类型在Databricks的BigQuery连接器中默认被映射为Spark的String类型，而非TimestampType，导致读取后自动截断秒部分。

修复方案 #

方案1：调整连接器类型映射参数 #

修改读取代码，添加bigquery.datetimeType参数，将BigQuery的DATETIME类型强制映射为Spark的TIMESTAMP类型：

override def read(spark: SparkSession, readConfig: Map[String, Any]): DataFrame = {
  spark
    .read
    .format("bigquery")
    .option("bigquery.datetimeType", "TIMESTAMP") // 关键参数：指定DATETIME映射为TIMESTAMP
    .option(
      "table",
      readConfig("dataReadProject") + "." + readConfig("dataReadTable")
    )
    .load()
}

读取后字段A会成为Spark的TimestampType，若需要固定格式的字符串输出，可使用date_format函数转换：

import org.apache.spark.sql.functions.date_format

val formattedDF = originalDF.withColumn("A_formatted", date_format(col("A"), "yyyy-MM-dd'T'HH:mm:ss"))

方案2：读取后手动转换类型 #

如果无法修改连接器参数，可读取后将字符串字段转为Timestamp再格式化：

import org.apache.spark.sql.functions.to_timestamp

val convertedDF = originalDF
  .withColumn("A_timestamp", to_timestamp(col("A"), "yyyy-MM-dd'T'HH:mm")) // 按读取到的格式解析
  .withColumn("A_formatted", date_format(col("A_timestamp"), "yyyy-MM-dd'T'HH:mm:ss"))

关键说明 #

• Databricks的BigQuery连接器类型映射参数可控制不同BigQuery类型到Spark类型的转换，bigquery.datetimeType支持STRING（默认）、TIMESTAMP、DATE三种取值。
• 若仅需日期部分，也可将bigquery.datetimeType设为DATE，后续按需拼接时分秒字符串。

内容的提问来源于stack exchange，提问作者Aishwary Shukla