如何在PySpark中从GregorianCalendar字段提取准确时间戳

场景1：可直接获取GregorianCalendar实例对象（优先推荐） #

你看到的time=?、areFieldsSet=false是因为GregorianCalendar对象在设置完年、月、日等时间字段后，没有触发内部时间戳计算逻辑，只要实例本身没有被序列化损坏，直接调用内置方法即可得到准确时间戳，不需要手动拼接字段，也不会出现月份、时区计算错误。
Scala代码实现示例：

import java.util.GregorianCalendar
import org.apache.spark.sql.functions._

// 注册UDF完成转换
val calToTimestamp = udf((calendar: GregorianCalendar) => {
  // getTimeInMillis会自动基于已设置的时间字段、内置时区信息计算毫秒级时间戳
  calendar.getTimeInMillis
})

// 假设存放GregorianCalendar的列名为cal_col，转换后得到ts时间戳列
val resultDF = sourceDF.withColumn("ts", calToTimestamp(col("cal_col")))

// 如果需要得到示例中的格式化时间字符串，可以追加转换逻辑
// val resultDFWithStr = resultDF.withColumn(
//   "time_str",
//   from_unixtime(col("ts") / 1000, "yyyy-MM-dd HH:mm:ss")
// )

说明：该方法会自动识别GregorianCalendar携带的时区配置（示例中为UTC时区），不需要手动处理时区偏移。

场景2：仅能获取GregorianCalendar的toString结果字符串，拿不到原始实例 #

这种场景需要通过正则提取字符串内的时间字段，手动拼接为标准时间后转时间戳，需要特别注意月份偏移问题。
Scala代码实现示例：

import org.apache.spark.sql.functions._
import scala.util.matching.Regex

val parseCalStr = udf((calString: String) => {
  // 定义正则匹配各时间字段
  val fieldPattern: Map[String, Regex] = Map(
    "year" -> "YEAR=(\\d+)".r,
    "month" -> "MONTH=(\\d+)".r,
    "day" -> "DAY_OF_MONTH=(\\d+)".r,
    "hour" -> "HOUR_OF_DAY=(\\d+)".r,
    "minute" -> "MINUTE=(\\d+)".r,
    "second" -> "SECOND=(\\d+)".r
  )
  // 提取字段值
  val year = fieldPattern("year").findFirstMatchIn(calString).get.group(1).toInt
  var month = fieldPattern("month").findFirstMatchIn(calString).get.group(1).toInt
  val day = fieldPattern("day").findFirstMatchIn(calString).get.group(1).toInt
  val hour = fieldPattern("hour").findFirstMatchIn(calString).get.group(1).toInt
  val minute = fieldPattern("minute").findFirstMatchIn(calString).get.group(1).toInt
  val second = fieldPattern("second").findFirstMatchIn(calString).get.group(1).toInt

  // 月份偏移校验：标准Java Calendar的MONTH从0开始计数（1月对应0），如果提取到的月份值和实际月份差1，就放开下面这行注释
  // month = month - 1
  // 示例中MONTH=7对应实际7月，不需要做偏移

  // 拼接为标准时间字符串
  f"$year%04d-$month%02d-$day%02d $hour%02d:$minute%02d:$second%02d"
})

// 假设存放GregorianCalendar字符串的列名为cal_str_col
val resultDF = sourceDF.withColumn("time_str", parseCalStr(col("cal_str_col")))
  .withColumn(
    "ts",
    unix_timestamp(col("time_str"), "yyyy-MM-dd HH:mm:ss").cast("long") * 1000
  )

注意事项 #

• 优先使用场景1的实例转换方案，避免正则匹配失效、时区/月份偏移导致的时间错误
• 如果使用场景2的字符串解析方案，一定要先抽样校验提取出的月份和实际值是否匹配，根据业务生成GregorianCalendar的逻辑调整月份偏移量
• 示例中GregorianCalendar的时区为UTC，转换得到的时间戳是UTC标准时间戳，如果需要转其他时区时间，要单独做时区转换逻辑

内容的提问来源于stack exchange，提问作者WhoamI