在Palantir中从PySpark Timestamp列提取原日期（忽略时区）

问题原因 #

你的start_date是Timestamp类型，Spark默认会用本地时区转换为Date类型。比如UTC时间2020-04-10T23:55:19.000Z，若本地时区是东八区（UTC+8），转换后就会变成2020-04-11，导致日期偏移。你之前用regex_extract失败，是因为直接对Timestamp列操作时，Spark会先将其转换为本地时区的字符串，再提取，自然得不到原日期。

两种解决方案 #

方案1：强制使用UTC时区转换Date #

利用Spark的to_date函数指定时区为UTC，直接按UTC时间转换为Date类型，避免本地时区干扰：

from pyspark.sql import functions as F

df_output = df_input.withColumn('date', F.to_date(F.col('start_date'), 'UTC'))

注：该方法适用于Spark 3.0及以上版本，低版本可使用date_format配合时区参数后再转Date：

df_output = df_input.withColumn('date', F.to_date(F.date_format(F.col('start_date'), 'yyyy-MM-dd', 'UTC')))

方案2：直接提取原始字符串日期 #

先将Timestamp类型强制转换为原始ISO格式的字符串，再截取前10位日期部分，彻底绕过时区转换：

# 方法A：substring截取前10位
df_output = df_input.withColumn('date', F.substring(F.col('start_date').cast('string'), 1, 10))

# 方法B：正则提取日期部分
df_output = df_input.withColumn('date', F.regex_extract(F.col('start_date').cast('string'), r'^\d{4}-\d{2}-\d{2}', 0))

核心是先通过cast('string')将Timestamp转成原始ISO格式字符串（如2020-04-10T23:55:19.000Z），再提取日期，完全不受时区影响。

内容的提问来源于stack exchange，提问作者Jresearcher