Google Cloud Dataproc集群Spark任务卡滞，报SPARK_HOME未找到求助

你遇到的核心问题是PythonRDD类型的任务需要在执行器节点上正确读取SPARK_HOME，但YARN容器没有加载到你设置的系统级环境变量，进而导致执行器初始化失败，被YARN的健康检查机制移除。下面是针对性的解决方案：

1. 先确认执行器节点上的SPARK_HOME有效性 #

首先登录集群的任意worker节点，手动执行以下命令，验证默认Spark路径的存在性和权限：

ls -l /usr/lib/spark/

Dataproc默认确实会把Spark安装在/usr/lib/spark/，但如果之前手动修改过集群配置，可能出现路径权限变化或文件缺失，要确保root用户（你任务运行的用户）有读取该目录的权限。

2. 通过Spark配置显式传递SPARK_HOME到执行器 #

你之前修改/etc/profile.d和bashrc的方式不生效，是因为YARN启动执行器容器时用的是非交互式、非登录shell，不会加载这些系统级配置文件。正确的做法是通过Spark配置直接把环境变量传递给执行器：

• 单次任务提交时添加配置：

spark-submit --conf spark.executorEnv.SPARK_HOME=/usr/lib/spark/ [你的任务参数]

• 若要让所有任务都生效，可以在集群初始化时添加Dataproc自定义属性：

dataproc:spark.executorEnv.SPARK_HOME=/usr/lib/spark/

3. 排查Python环境冲突 #

如果你的任务使用了自定义Python环境，可能会覆盖Spark默认的Python路径，导致无法找到SPARK_HOME/python下的依赖。可以尝试在提交任务时指定Spark默认的Python版本：

spark-submit --conf spark.pyspark.python=/usr/bin/python3 --conf spark.executorEnv.SPARK_HOME=/usr/lib/spark/ [你的任务参数]

（根据集群实际的Python版本调整，比如换成/usr/bin/python）

4. 查看执行器日志定位根因 #

如果执行器仍然被移除，建议查看执行器的stderr日志：

• 通过Dataproc控制台的任务页面，找到对应任务并点击执行器链接查看日志
• 或者登录worker节点，查看/var/log/hadoop-yarn/containers/下对应容器的日志，确认是不是因为SPARK_HOME找不到导致的初始化错误，进而触发YARN的移除机制

内容的提问来源于stack exchange，提问作者Lejla