Spark SqlContext下字符串转日期并提取纯年份问题求解

操作背景 #

需要通过SqlContext读取CSV文件后，将字符串类型的年份字段处理为纯年份值（如2013这类数值结果），初始读取文件的代码如下：

df = sqlContext.read.option("header", "true").csv("baby_names.csv")

读取完成后可通过df.show(5)查看前5行样本数据，通过df.printSchema()打印字段结构，此时Year字段为字符串类型。

问题复现 #

之前尝试直接将Year字段强转为DateType实现转换，代码如下：

df=df.withColumn("Year",col("Year").cast(DateType()))

运行后转换结果不符合预期，无法得到目标纯年份值。

错误原因 #

Spark的DateType默认按照yyyy-MM-dd的标准日期格式解析字符串，单独的4位年份字符串不符合该格式要求，强转后会得到空值或错误的日期结果，自然无法提取到正确的年份。

正确实现方式 #

根据数据场景二选一即可：

• 场景1：字段本身就是4位年份字符串，无其他日期内容
  直接将字段转为整数类型即可，是最简单高效的方案：

  from pyspark.sql.types import IntegerType
  from pyspark.sql.functions import col
  
  df = df.withColumn("Year", col("Year").cast(IntegerType()))
  

• 场景2：需要先做日期合法性校验，或字段为完整日期字符串
  先通过to_date指定匹配的日期格式将字符串解析为合法日期，再用year函数提取年份值：

  from pyspark.sql.functions import col, to_date, year
  
  # 针对4位年份字符串，指定解析格式为yyyy
  df = df.withColumn("Year", year(to_date(col("Year"), "yyyy")))
  

  如果原始字段是其他格式的日期串（如dd/MM/yyyy、yyyyMMdd等），只需要把to_date的第二个格式参数替换为和原始数据匹配的格式串即可。

内容的提问来源于stack exchange，提问作者anne