AWS EMR中Spark应用环境变量配置失败技术求助

我之前在AWS EMR上运行Python Spark应用时，也碰到过完全一样的环境变量传递失效问题——明明配置了变量，但代码里就是读不到，折腾了好一阵才摸清楚门道。下面给你分享几个亲测有效的方案，以及排查技巧：

方案1：spark-submit 直接指定环境变量（最推荐） #

Spark官方支持通过--conf参数分别给Driver和Executor设置环境变量，这是最直接且可靠的方式，能确保Driver和所有Executor节点都能拿到变量：

spark-submit \
  --conf spark.driverEnv.MY_CUSTOM_VAR="production" \
  --conf spark.executorEnv.MY_CUSTOM_VAR="production" \
  --master yarn \
  your_pyspark_application.py

• spark.driverEnv.*：设置Driver进程的环境变量，如果你在Driver端（比如初始化代码、SparkContext配置阶段）需要读取变量，必须加这个
• spark.executorEnv.*：设置所有Executor节点的环境变量，作业的分布式计算逻辑（比如RDD、DataFrame操作）都是在Executor上跑的，这个是核心配置项

方案2：通过EMR Bootstrap动作全局配置 #

如果你的集群上所有Spark作业都需要用到相同的环境变量，不想每次提交都加参数，可以用EMR的Bootstrap动作在集群启动时全局配置：

1. 写一个Shell脚本（比如set_env_vars.sh），内容如下：

#!/bin/bash
# 给Spark环境添加变量
echo 'export MY_CUSTOM_VAR="production"' >> /etc/spark/conf/spark-env.sh
# 给Hadoop/YARN环境添加变量（确保YARN启动Executor时能继承）
echo 'export MY_CUSTOM_VAR="production"' >> /etc/hadoop/conf/hadoop-env.sh
# 刷新配置
source /etc/spark/conf/spark-env.sh
source /etc/hadoop/conf/hadoop-env.sh

2. 把这个脚本上传到你的S3存储桶（比如s3://your-bucket/bootstrap_scripts/）
3. 创建EMR集群时，在“Bootstrap actions”里添加这个脚本，指定S3路径即可

这样整个集群的Spark和YARN环境都会默认带上这个变量，后续提交作业时不用再额外配置。

方案3：提交前临时export（仅Driver生效） #

如果你只需要在Driver端读取环境变量（比如作业启动时的初始化逻辑），可以在执行spark-submit前先export变量：

export MY_CUSTOM_VAR="production"
spark-submit your_pyspark_application.py

⚠️ 注意：这个方法只能让Driver进程拿到变量，Executor节点是读不到的，因为YARN启动Executor时不会继承提交命令所在Shell的环境变量，所以如果你的作业逻辑涉及分布式计算，别用这个方法。

排查技巧：确认变量是否生效 #

在Python代码里分别打印Driver和Executor的环境变量，就能快速定位问题：

import os
from pyspark import SparkContext

sc = SparkContext(appName="EnvVarTest")

# 打印Driver端的环境变量
print("Driver端 MY_CUSTOM_VAR:", os.getenv("MY_CUSTOM_VAR"))

# 打印Executor端的环境变量（通过RDD的map操作触发Executor执行）
executor_env = sc.parallelize([1]).map(lambda x: os.getenv("MY_CUSTOM_VAR")).collect()
print("Executor端 MY_CUSTOM_VAR:", executor_env[0])

如果Driver能读到但Executor读不到，说明你漏了spark.executorEnv的配置；如果两边都读不到，检查参数拼写是否正确，或者Bootstrap脚本是否执行成功（可以去EMR主节点的/var/log/bootstrap-actions/目录看日志）。

内容的提问来源于stack exchange，提问作者Appunni M