Docker Compose配置的环境变量无法被Apache Spark应用读取

我完全懂你现在的困惑——明明进容器用env命令能看到AWS相关的环境变量都配置对了，但Python代码里用os.environ或者os.getenv就是拿不到值，这确实挺让人摸不着头脑的。下面来帮你分析原因和对应的解决办法：

核心原因：Spark进程的环境变量隔离 #

Bitnami的Spark镜像在启动Spark服务（Driver或Executor进程）时，并没有完全继承容器的系统环境变量。你用bash进入容器执行env时，是在当前shell进程里查看变量，但Spark的运行进程（比如spark-submit启动的Driver）是在独立的环境上下文里启动的，导致这些变量没被传递进去。

解决办法 #

1. 通过Spark配置显式传递环境变量给Driver和Executor

提交Spark应用时，直接用spark-submit的参数把环境变量传给Spark的Driver和Executor进程：

spark-submit \
  --conf spark.driverEnv.AWS_REGION=us-east-1 \
  --conf spark.driverEnv.AWS_ACCESS_KEY_ID=admin \
  --conf spark.driverEnv.AWS_SECRET_ACCESS_KEY=password \
  --conf spark.executorEnv.AWS_REGION=us-east-1 \
  --conf spark.executorEnv.AWS_ACCESS_KEY_ID=admin \
  --conf spark.executorEnv.AWS_SECRET_ACCESS_KEY=password \
  your_app.py

这样配置后，你的Python代码里用os.environ.get("AWS_REGION")就能正常读取到对应值了。

2. 自定义Spark环境配置文件（spark-env.sh）

Bitnami的Spark镜像会自动加载/opt/bitnami/spark/conf/spark-env.sh里的环境变量，你可以通过Docker Compose挂载自定义配置文件来注入变量：

首先在本地创建spark-env.sh文件，内容如下：

export AWS_REGION=us-east-1
export AWS_ACCESS_KEY_ID=admin
export AWS_SECRET_ACCESS_KEY=password

然后修改Docker Compose的x-spark-common块，添加配置文件挂载：

x-spark-common: &spark-common
  image: bitnami/spark:3.5.4
  environment:
    - AWS_REGION=us-east-1
    - AWS_ACCESS_KEY_ID=admin 
    - AWS_SECRET_ACCESS_KEY=password 
  volumes:
    - ./spark-env.sh:/opt/bitnami/spark/conf/spark-env.sh

重启容器后，Spark启动时会自动加载这个文件里的变量，你的应用就能读取到了。

3. 在SparkSession中直接配置AWS参数

如果上面的方法都不生效，也可以绕过环境变量，直接在代码里通过SparkConf设置AWS相关配置：

from pyspark.sql import SparkSession
import os

spark = SparkSession.builder \
    .appName("AWSExample") \
    .config("spark.hadoop.fs.s3a.access.key", os.environ.get("AWS_ACCESS_KEY_ID")) \
    .config("spark.hadoop.fs.s3a.secret.key", os.environ.get("AWS_SECRET_ACCESS_KEY")) \
    .config("spark.hadoop.fs.s3a.endpoint", f"s3.{os.environ.get('AWS_REGION')}.amazonaws.com") \
    .getOrCreate()

这种方式需要确保Driver进程能拿到容器的环境变量，提交应用时可以加上--driver-java-options "-Daws.region=us-east-1"这类参数辅助传递。

备注：内容来源于stack exchange，提问作者foO