如何在Apache Spark中设置UTC时区？覆盖WebUI Zulu时区方法

针对你在Spark 2.1.1、OpenJDK 1.8环境下的时区问题，我整理了实操性很强的解决步骤：

一、如何在Apache Spark中将时区设置为UTC？ #

Spark的时区分为Spark SQL会话时区和JVM系统时区，建议两者都设置为UTC，避免出现时间不一致的问题，具体方法有三种：

• 启动应用时通过参数指定
  不管是用spark-submit提交应用，还是用spark-shell交互式运行，都可以添加以下配置参数：

  spark-submit --conf spark.sql.session.timeZone=UTC \
               --conf spark.driver.extraJavaOptions=-Duser.timezone=UTC \
               --conf spark.executor.extraJavaOptions=-Duser.timezone=UTC \
               your-app.jar
  

  其中spark.sql.session.timeZone专门设置Spark SQL的时区，后面两个参数分别给driver和executor的JVM实例设置时区。

• 修改Spark默认配置文件永久生效
  找到Spark安装目录下的conf/spark-defaults.conf（如果没有就复制spark-defaults.conf.template重命名），添加以下配置项：

  spark.sql.session.timeZone          UTC
  spark.driver.extraJavaOptions       -Duser.timezone=UTC
  spark.executor.extraJavaOptions     -Duser.timezone=UTC
  

  这样所有启动的Spark应用都会默认使用UTC时区，不需要每次启动都手动加参数。

• 在应用代码中动态设置
  如果是Scala/Java代码，可以在创建SparkSession前后设置：

  // 先设置JVM时区
  System.setProperty("user.timezone", "UTC")
  // 再设置Spark SQL会话时区
  val spark = SparkSession.builder()
    .appName("YourApp")
    .config("spark.sql.session.timeZone", "UTC")
    .getOrCreate()
  

  这种方式只对当前运行的应用生效，不会影响其他Spark任务。

二、如何覆盖Spark WebUI环境标签页中的user.timezone为UTC？ #

你看到的user.timezone Zulu其实Zulu时区就是UTC+0，和UTC本质是同一个时区，但如果要显式改成UTC标识，可以通过覆盖JVM的系统属性来实现：

• 启动时通过Spark配置参数临时覆盖
  在启动Spark应用时，添加driver和executor的JVM时区参数，也就是前面提到的：

  --conf spark.driver.extraJavaOptions=-Duser.timezone=UTC --conf spark.executor.extraJavaOptions=-Duser.timezone=UTC
  

  启动应用后刷新WebUI的环境标签页，就能看到user.timezone已经变成UTC了。

• 修改Spark默认配置文件永久生效
  同样在spark-defaults.conf中添加spark.driver.extraJavaOptions和spark.executor.extraJavaOptions的时区配置，这样所有Spark应用的WebUI都会显示UTC时区。

注意：因为你的环境是EC2 Amazon Linux且无JDK，不建议修改系统级的JVM配置（比如/etc/profile或JVM全局配置），优先用Spark自身的配置参数来覆盖，避免影响其他系统应用。

内容的提问来源于stack exchange，提问作者tooptoop4