如何使用Java8与Java11两个版本运行Spark3应用？

能否用不同Java版本运行Spark 3应用？ #

Spark 3支持驱动端（本地启动的spark-shell/spark-submit进程）与集群端（YARN AppMaster、Executor）使用不同Java版本（如Java8和Java11），但要注意配置的作用范围——你设置的spark.yarn.appMasterEnv.JAVA_HOME和spark.executorEnv.JAVA_HOME仅作用于YARN集群上的进程，本地驱动进程仍会使用系统默认的Java版本。

你的命令为什么没生效？ #

你当前的配置只指定了YARN集群内AppMaster和Executor的Java11路径，但spark-shell本身是本地启动的驱动进程，它会优先读取系统环境变量中的JAVA_HOME，所以依然用了默认的Java8。

解决方法 #

1. 让驱动和集群统一用Java11 #

在启动spark-shell前临时覆盖本地环境变量：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.17.0.8-2.el7_9.x86_64/
spark-shell \
--conf spark.yarn.appMasterEnv.JAVA_HOME=$JAVA_HOME \
--conf spark.executorEnv.JAVA_HOME=$JAVA_HOME

2. 保持驱动Java8，集群用Java11（混合版本） #

如果确实需要混合版本，你的原有配置是正确的，但需要验证以下几点：

• YARN集群所有节点上都存在指定的Java11路径，且Spark进程有权限访问
• 检查Spark安装目录下的conf/spark-env.sh，确保没有硬编码的JAVA_HOME配置覆盖了你的参数
• 查看YARN AppMaster的日志，确认JAVA_HOME是否已正确加载到集群进程中

注意事项 #

虽然Spark 3支持混合Java版本运行，但部分第三方依赖库可能存在版本兼容性问题，建议尽量保持驱动与集群的Java版本一致，减少排查问题的复杂度。

内容的提问来源于stack exchange，提问作者Ranga Reddy