本地Docker环境下如何为PySpark设置可通过os.getenv读取的环境变量？

针对你的场景，以下几种方案可以让PySpark脚本通过os.getenv()读取到环境变量，无需修改生产环境的代码：

方案一：修改Docker Compose配置，为Spark节点预设环境变量 #

直接在Docker Compose文件中为Spark Master和Worker容器添加全局环境变量，容器启动时会自动注入这些变量，Driver（运行在Master或提交容器）和Executor（运行在Worker）都能读取到：

version: '3'
services:
  spark-master:
    image: bitnami/spark:latest
    environment:
      - DB_TABLE=table_name
      - ADDITIONAL_JARS=path/to/your/jar1.jar,path/to/your/jar2.jar
    ports:
      - "7077:7077"
      - "8080:8080"
  spark-worker:
    image: bitnami/spark:latest
    depends_on:
      - spark-master
    environment:
      - SPARK_MASTER_URL=spark://spark-master:7077
      - DB_TABLE=table_name
      - ADDITIONAL_JARS=path/to/your/jar1.jar,path/to/your/jar2.jar

修改后重启容器，提交脚本时无需额外配置，脚本就能通过os.getenv()读取到变量。

方案二：在测试容器中提交时注入环境变量+配置Executor变量 #

在测试容器中，先通过export设置Driver的环境变量，再通过spark-submit的spark.executorEnv.*配置将变量传递给Executor，注意避免引号格式错误：

# 先设置Driver的环境变量
export DB_TABLE=table_name
export ADDITIONAL_JARS=jar1.jar,jar2.jar

# 提交脚本，同时传递变量给Executor
spark-submit \
  --master spark://spark-master:7077 \
  --conf spark.executorEnv.DB_TABLE=$DB_TABLE \
  --conf spark.executorEnv.ADDITIONAL_JARS=$ADDITIONAL_JARS \
  your_pyspark_script.py

• export的变量会被Driver进程继承，所以Driver端的脚本能直接用os.getenv()读取
• spark.executorEnv.*配置会将变量注入到所有Executor的环境中，Executor端的脚本也能读取到

你之前方案1失败的原因大概率是引号使用错误——如果用单引号包裹整个--conf参数，Spark会把带引号的字符串当成无效配置，直接去掉外层单引号即可。

方案三：封装提交脚本简化操作 #

如果经常需要测试，可以写一个Shell脚本封装环境变量注入和提交逻辑，避免重复输入参数：

#!/bin/bash
# submit_with_env.sh
# 设置默认值，避免未传参时出错
export DB_TABLE=${DB_TABLE:-default_test_table}
export ADDITIONAL_JARS=${ADDITIONAL_JARS:-""}

spark-submit \
  --master spark://spark-master:7077 \
  --conf spark.executorEnv.DB_TABLE=$DB_TABLE \
  --conf spark.executorEnv.ADDITIONAL_JARS=$ADDITIONAL_JARS \
  "$@"

使用时直接传参即可：

# 给变量赋值并执行脚本
DB_TABLE=table_name ADDITIONAL_JARS=xxx.jar ./submit_with_env.sh your_pyspark_script.py

内容的提问来源于stack exchange，提问作者qalis