Spark on K8s提交Spark Pi任务报错及JAVA_HOME配置相关疑问

问题根因说明 #

你碰到的报错本质是Spark on K8s集群模式提交时，本地提交端的JAVA_HOME环境变量会被默认透传到Driver和Executor Pod中，Pod内的spark-class启动脚本会优先使用该环境变量找Java执行路径，而你最初构建的镜像中不存在透传过来的/home/deploy/jdk1.8.0_201/bin/java路径，才触发了报错。

疑问1解答 #

Spark、Hadoop环境未触发报错的核心原因是：

• 集群模式下，Driver和Executor的完整运行时完全依赖镜像内置的文件，默认不会读取宿主机的Spark、Hadoop目录。你观察到的挂载镜像内Spark目录的操作，是容器启动时默认加载镜像内置的/opt/spark路径作为运行目录，和你本地宿主机的Spark目录没有任何关联，只要镜像内置的Spark本身是可运行的，不管本地和镜像的Spark、Hadoop版本、配置差异多大，都不会影响容器内的任务运行。
• Spark默认不会把本地的SPARK_HOME、HADOOP_HOME这类环境变量透传到Pod中，只有JAVA_HOME属于默认透传的环境变量，所以只有Java路径会出现不匹配的问题。

疑问2解答 #

和官方默认使用OpenJDK11没有直接关系：

• 报错的触发条件只有一个：提交端透传到Pod的JAVA_HOME路径，和镜像实际的Java安装路径不一致。哪怕你完全按照官方用OpenJDK11，只要你本地提交端的JAVA_HOME路径和镜像里的OpenJDK11路径不一样，一样会触发同类报错。

更优的解决方案 #

不需要强制对齐本地和镜像的Java路径，提交任务时加上以下两个配置，主动指定Pod内的Java路径即可：

--conf spark.kubernetes.driverEnv.JAVA_HOME=<镜像内实际的Java安装路径>
--conf spark.executorEnv.JAVA_HOME=<镜像内实际的Java安装路径>

也可以在构建镜像时就固定好JAVA_HOME环境变量，后续提交任务时统一传这两个配置即可，不用每次修改镜像。

内容的提问来源于stack exchange，提问作者EthanZhang