Spark DataFrame日期格式化失效求助：转换后字段返回Null

你的问题核心是日期格式参数和原始数据的实际格式完全不匹配：

• 原始日期值是无分隔符的字符串01080600，对应逻辑上的MM-dd-HH-mm，但实际没有任何分隔符（-/:/空格）；
• 你调用to_date时指定的格式是MM:dd HH:mm，Spark无法将无分隔符的字符串匹配带分隔符的格式规则，因此解析失败返回Null。

正确解决方法 #

1. 匹配原始格式完成解析

首先要使用和原始字符串完全对应的格式符MMddHHmm（无任何分隔符，顺序为月、日、时、分）：

• 若需要保留时分信息，用to_timestamp函数（to_date仅处理日期部分，会丢失时分）：

spark.sql("SELECT date...")
      .withColumn("readable_datetime", to_timestamp(col("date"), "MMddHHmm"))
      .show(10)

• 若仅需日期部分，直接用to_date搭配正确格式：

spark.sql("SELECT date...")
      .withColumn("readable_date", to_date(col("date"), "MMddHHmm"))
      .show(10)

2. 自定义易读格式输出

如果需要输出MM-dd HH:mm这种带分隔符的格式，先解析成时间戳，再用date_format格式化：

spark.sql("SELECT date...")
      .withColumn("readable_datetime", date_format(to_timestamp(col("date"), "MMddHHmm"), "MM-dd HH:mm"))
      .show(10)

内容的提问来源于stack exchange，提问作者Mandroid