Dataproc Serverless交互式PySpark会话自定义环境变量无法访问问题排查

问题原因 #

Dataproc Serverless批处理与交互式会话的驱动进程启动逻辑存在差异：spark.dataproc.driverEnv.*系列属性是为批处理模式设计的，在交互式模式下，该属性不会自动注入到Python运行时的环境变量中——因为交互式会话的Python解释器进程是在Spark Driver初始化之后启动的，环境变量的传递链路未覆盖这一环节。

解决方案 #

方案1：通过会话模板直接配置环境变量 #

创建或更新交互式会话模板时，直接指定环境变量（无需嵌套在Spark属性内）：

gcloud dataproc sessions templates create my-interactive-template \
    --interactive \
    --environment-variables=MY_VAR=my_value \
    --region=us-central1

若使用REST API或基础设施即代码工具（如Terraform），在模板配置的environmentVariables字段中添加对应键值对即可。

方案2：启动会话时临时传递环境变量 #

如果不需要固化到模板，可在启动交互式会话时直接指定：

gcloud dataproc sessions create pyspark my-session \
    --region=us-central1 \
    --environment-variables=MY_VAR=my_value

方案3：通过Spark属性结合Py4j读取系统属性 #

若必须通过Spark属性传递，可借助Java系统属性中转，再通过Py4j读取：

1. 在Spark属性中设置：
   spark.driver.extraJavaOptions=-DMY_VAR=my_value
2. 在Python代码中读取：

from py4j.java_gateway import java_import
java_import(sc._gateway.jvm, "java.lang.System")
my_var = sc._gateway.jvm.System.getProperty("MY_VAR")

验证 #

完成配置后重启交互式会话，执行对应代码即可获取到自定义环境变量的值。

内容的提问来源于stack exchange，提问作者Tomáš Stanovčák