PySpark 3.0.1下未知格式日期列转Timestamp的实现方法求助

嘿，这个问题我之前也踩过坑！直接用cast('timestamp')转出来全是null，核心原因是PySpark默认的日期格式和你CSV里的日期字符串格式不匹配，导致转换失败。咱们一步步来搞定它：

第一步：先搞清楚CSV里的日期到底是什么格式 #

这是最关键的一步，你得先看看原始数据里的日期长啥样。可以用下面的代码取几行样本看看：

df.select('joining_date', 'another_date_col').limit(5).show(truncate=False)

比如你可能会看到2023/10/05 14:30:00、05-10-2023或者Oct 5, 2023这类格式，记下来这个格式，后面转换要用到。

第二步：用to_timestamp()指定格式转换 #

PySpark的to_timestamp()函数支持自定义日期格式，比直接cast灵活得多。比如你探测到日期格式是dd/MM/yyyy HH:mm:ss，就这么写：

from pyspark.sql.functions import to_timestamp, col

# 转换单个列
df1 = df.withColumn('joining_datetime', to_timestamp(col('joining_date'), 'dd/MM/yyyy HH:mm:ss'))
# 转换第二个日期列同理
df1 = df1.withColumn('another_datetime', to_timestamp(col('another_date_col'), 'dd/MM/yyyy HH:mm:ss'))

这里给你列几个常用的格式符，方便对应：

• yyyy：4位年份（比如2023）
• MM：2位月份（比如10）
• dd：2位日期（比如05）
• HH：24小时制小时数（比如14）
• hh：12小时制小时数（比如02）
• mm：分钟数
• ss：秒数
• EEE：星期缩写（比如Mon）
• MMM：月份缩写（比如Oct）

第三步：如果CSV里有多种日期格式怎么办？ #

有时候CSV里的日期可能混了多种格式，这时候可以用coalesce()结合多个to_timestamp()尝试不同格式，第一个成功转换的值会被保留：

from pyspark.sql.functions import coalesce

df1 = df.withColumn(
    'joining_datetime',
    coalesce(
        to_timestamp(col('joining_date'), 'yyyy-MM-dd HH:mm:ss'),
        to_timestamp(col('joining_date'), 'dd/MM/yyyy'),
        to_timestamp(col('joining_date'), 'MMM dd, yyyy')
    )
)

这样就算部分行是不同格式，也能尽量转换成功，不会全成null。

第四步：从源头解决——读取CSV时直接指定日期格式 #

如果已经知道日期格式，最好在读取CSV的时候就直接指定，这样不用后续转换，效率更高：

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType, TimestampType

spark = SparkSession.builder.appName("DateConvert").getOrCreate()

# 定义Schema，把日期列设为TimestampType
custom_schema = StructType([
    StructField("id", StringType(), nullable=True),
    StructField("joining_date", TimestampType(), nullable=True),
    StructField("another_date_col", TimestampType(), nullable=True),
    # 其他列...
])

# 读取CSV时指定timestampFormat
df = spark.read.csv(
    "your_file_path.csv",
    schema=custom_schema,
    header=True,
    timestampFormat="dd/MM/yyyy HH:mm:ss"  # 这里填你探测到的格式
)

小技巧：用try_cast()做安全转换（PySpark 3.0+支持） #

PySpark 3.0及以上版本提供了try_cast()，它会尝试转换，失败时返回null而不是抛出错误，适合做安全转换：

from pyspark.sql.functions import try_cast

df1 = df.withColumn('joining_datetime', try_cast(col('joining_date'), 'timestamp'))

不过这个还是依赖PySpark默认的日期格式（yyyy-MM-dd HH:mm:ss），所以如果你的格式不是默认的，还是得用to_timestamp()指定格式。

总结一下：先看样本数据确定日期格式，再用to_timestamp()指定格式转换是最靠谱的方法，多种格式就用coalesce()组合尝试，能在读取时指定格式就更高效啦！

内容的提问来源于stack exchange，提问作者Nayan jain