Apache Spark从MongoDB读取UTC时间戳异常（GCP Dataproc环境）

一、Spark读取MongoDB时默认时区的来源 #

Spark读取MongoDB的Timestamp数据时，时区处理逻辑由以下几个层级决定：

• MongoDB Spark Connector的默认行为：MongoDB中存储的ISODate本质是UTC时间戳，旧版本Connector（3.x之前）可能会错误地用JVM默认时区解析该UTC时间戳，而非直接保留UTC时区。
• Spark会话时区配置：若Spark设置了spark.sql.session.timeZone参数，Connector会优先使用该时区转换时间；未配置则 fallback 到JVM默认时区。
• Dataproc集群的JVM时区：GCP Dataproc集群默认JVM时区为UTC，但如果集群节点系统时区被修改，或启动Spark时指定了自定义JVM时区参数，都会影响最终转换结果。你遇到的反向偏移，大概率是Connector将UTC时间戳用某个非预期时区做了解析。

二、解决思路 #

1. 强制Spark会话使用UTC时区 #

初始化SparkSession时显式指定会话时区为UTC，确保时间转换基于UTC：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("MongoDBRead") \
    .config("spark.sql.session.timeZone", "UTC") \
    .config("spark.mongodb.input.uri", "mongodb://your-uri/your-db.your-collection") \
    .getOrCreate()

2. 配置MongoDB Connector的时间格式参数 #

通过Connector参数指定读取时间时使用UTC时区：

spark = SparkSession.builder \
    .appName("MongoDBRead") \
    .config("spark.mongodb.input.uri", "mongodb://your-uri/your-db.your-collection") \
    .config("spark.mongodb.input.dateFormat", "yyyy-MM-dd'T'HH:mm:ss'Z'") \
    .config("spark.mongodb.input.timestampFormat", "yyyy-MM-dd'T'HH:mm:ss'Z'") \
    .getOrCreate()

格式字符串中的Z后缀明确指定UTC时区，Connector会按此规则解析时间。

3. 读取后手动转换时区 #

若已读取数据，可使用Spark内置函数修正时区：

from pyspark.sql.functions import to_timestamp, from_utc_timestamp

# 假设df是读取后的DataFrame，timeslot_date为错误时区的Timestamp列
df = df.withColumn("timeslot_date_utc", from_utc_timestamp(to_timestamp("timeslot_date"), "UTC"))

# 若timeslot_date是字符串类型，直接按UTC格式解析
df = df.withColumn("timeslot_date_utc", to_timestamp("timeslot_date", "yyyy-MM-dd'T'HH:mm:ss'Z'"))

4. 修正Dataproc集群的JVM时区 #

若集群JVM时区被意外修改，可在提交Spark作业时指定JVM时区：

gcloud dataproc jobs submit pyspark your_script.py \
    --cluster your-cluster \
    --conf spark.driver.extraJavaOptions=-Duser.timezone=UTC \
    --conf spark.executor.extraJavaOptions=-Duser.timezone=UTC

内容的提问来源于stack exchange，提问作者Karan Alang