Kubernetes Spark作业自定义环境变量未被加载的问题排查

以下是几个可行的排查和解决方法：

1. 检查Spark Operator版本兼容性 #

部分旧版本的Spark Operator对driver.env和executor.env字段的支持存在缺陷，建议升级到v1beta2版本及以上的Operator，确保CRD定义能正确解析容器环境变量配置。

2. 改用JVM系统参数传递配置 #

如果环境变量方式不生效，可以直接通过javaOptions添加JVM参数，Spring Boot同样会识别spring.profiles.active系统参数：

Driver端修改： #

driver:
  javaOptions: >-
    -Dlog4j.configuration=file:///log4j2.xml
    --add-opens=java.base/java.lang=ALL-UNNAMED
    # 原有其他参数保留...
    -Dspring.profiles.active=azure,secured

Executor端修改： #

executor:
  javaOptions: >-
    -Dlog4j.configuration=file:///log4j2.xml
    -XX:ReservedCodeCacheSize=100M
    # 原有其他参数保留...
    -Dspring.profiles.active=azure,secured

3. 尝试全局环境变量配置 #

将自定义环境变量放在spec层级下，而非仅在driver或executor中配置，该配置会同时作用于Driver和Executor Pod：

spec:
  env:
    - name: spring.profiles.active
      value: "azure,secured"
  # 其他原有配置（type、mode、image等）...

4. 验证Spark Operator的CRD和运行状态 #

• 确认Spark Operator的CRD已正确安装：

  kubectl get crd sparkapplications.sparkoperator.k8s.io
  

• 检查Operator Pod是否正常运行，查看日志中是否有环境变量解析相关的错误：

  kubectl logs -n spark-operator <spark-operator-pod-name>
  

5. 查看Pod完整环境变量列表 #

kubectl describe pod有时会省略部分环境变量，直接进入Pod查看完整列表：

kubectl exec -n spark <driver-pod-name> -- printenv | grep spring.profiles.active

如果这里能输出变量值，说明环境变量已加载；如果无输出，说明Operator未正确注入变量。

内容的提问来源于stack exchange，提问作者focode