如何在PySpark中将时间戳转换为指定格式——以转换"2021-08-18T16:49:42.175-06:00"为"2021-08-18T16:49:42.175Z"为例

嘿，我来帮你搞定PySpark里的时间戳转换问题！

先解决你的具体需求 #

你给出的输入是2021-08-18T16:49:42.175-06:00（UTC-6时区的时间），要转换成UTC时区的标准格式——这里需要注意：原时间对应UTC的实际时间是2021-08-18T22:49:42.175Z，如果硬要保留16:49加Z会导致时间语义错误，不建议这么做。下面是正确的实现代码：

from pyspark.sql import SparkSession
from pyspark.sql.functions import to_timestamp, convert_timezone, date_format

# 初始化Spark会话
spark = SparkSession.builder.appName("UTC_Timestamp_Conversion").getOrCreate()

# 测试数据
sample_data = [("2021-08-18T16:49:42.175-06:00",)]
df = spark.createDataFrame(sample_data, ["original_ts_str"])

# 1. 解析字符串为带时区的时间戳（PySpark 3.0+支持带时区的TimestampType）
df = df.withColumn("ts_with_tz", to_timestamp("original_ts_str"))

# 2. 转换到UTC时区
df = df.withColumn("utc_ts", convert_timezone("UTC", "ts_with_tz"))

# 3. 格式化为目标格式（Z代表UTC时区）
df = df.withColumn("formatted_utc", date_format("utc_ts", "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"))

# 查看结果
df.show(truncate=False)

运行后输出的formatted_utc列就是正确的UTC时间格式：2021-08-18T22:49:42.175Z。

通用转换方法（UTC时间转指定格式/其他时区转UTC格式） #

不管是把UTC时间转成自定义格式，还是把其他时区的时间转成UTC格式，都可以遵循这三个步骤：

• 步骤1：解析输入时间
  如果输入是ISO 8601标准格式（比如你的例子），to_timestamp可以自动识别时区信息；如果是自定义格式，需要指定格式字符串，比如：

  # 解析带时区的自定义格式字符串
  df = df.withColumn("ts_with_tz", to_timestamp("custom_ts_str", "yyyy-MM-dd HH:mm:ss Z"))
  

• 步骤2：转换到目标时区
  使用convert_timezone函数，语法有两种：

  • 如果源时间已经带时区（TimestampType with timezone）：convert_timezone("目标时区", 时间列)
  • 如果源时间不带时区，需要指定源时区：convert_timezone("目标时区", "源时区", 时间列)
    常用时区标识：UTC、America/New_York、Asia/Shanghai等（建议用IANA标准名称，避免时区规则变更出错）。

• 步骤3：格式化输出
  用date_format函数指定输出格式，注意要把固定字符串（比如Z）用单引号括起来，避免被当成格式占位符。比如：

  • 转成UTC的Z格式：date_format(col, "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'")
  • 转成普通UTC格式（不带Z）：date_format(col, "yyyy-MM-dd HH:mm:ss")

注意事项 #

• PySpark 3.0及以上版本才支持带时区的TimestampType，如果是旧版本，建议用unix_timestamp先转成时间戳，再转换时区后格式化。
• 尽量避免直接字符串替换时区标识（比如把-06:00改成Z），这样会破坏时间的准确性。

内容的提问来源于stack exchange，提问作者SIDDHARTHA SUMAN