升级Cloud Composer 2.1.15后DAG解析报Java网关进程异常

解决方案 #

1. 通过Dataproc初始化动作配置环境变量 #

由于无法直接修改Composer环境的PYSPARK_SUBMIT_ARGS，可以借助Dataproc的初始化动作在集群启动时自动配置：

• 创建一个bash脚本（比如init-pyspark.sh），内容如下：

  #!/bin/bash
  # 配置PySpark提交参数，适配YARN模式
  echo "export PYSPARK_SUBMIT_ARGS='--master yarn pyspark-shell'" >> /etc/profile.d/spark-env.sh
  # 可选：设置Java临时目录避免权限问题
  echo "export JAVA_OPTS='-Djava.io.tmpdir=/tmp'" >> /etc/profile.d/spark-env.sh
  

• 将脚本上传到GCS存储桶，然后在DataprocClusterOperator中指定初始化动作：

  DataprocClusterOperator(
      task_id="launch_dataproc_cluster",
      cluster_name="your-cluster-name",
      initialization_actions=["gs://your-gcs-bucket/path/to/init-pyspark.sh"],
      # 其他必填参数（如项目ID、区域等）
  )
  

2. 在PySpark代码中显式设置环境变量 #

在初始化SparkSession之前，直接在代码中设置PYSPARK_SUBMIT_ARGS，确保生效：

import os
from pyspark.sql import SparkSession

# 必须在SparkSession初始化前设置
os.environ["PYSPARK_SUBMIT_ARGS"] = "--master yarn pyspark-shell"

spark = SparkSession.builder \
    .appName("your-app-name") \
    .getOrCreate()

# 后续业务代码

3. 适配Composer 2.1.15的环境依赖变更 #

Composer 2.1.15可能更新了底层依赖，需确保Dataproc集群的镜像和PySpark版本兼容：

• 指定兼容PySpark 3.0.1的Dataproc镜像版本（如2.0-debian10），并配置Java相关参数：

  cluster_config = {
      "software_config": {
          "image_version": "2.0-debian10",
          "properties": {
              "spark:spark.driver.extraJavaOptions": "-Djava.io.tmpdir=/tmp",
              "spark:spark.executor.extraJavaOptions": "-Djava.io.tmpdir=/tmp"
          }
      }
  }
  
  DataprocClusterOperator(
      task_id="create_compatible_cluster",
      cluster_name="your-cluster-name",
      cluster_config=cluster_config,
      # 其他参数
  )
  

4. 排查Java网关退出的具体原因 #

通过日志定位根本问题：

• 前往Cloud Logging，筛选Dataproc集群的日志，搜索关键词Java gateway或pyspark，查看退出时的具体报错（如内存不足、依赖缺失、权限问题）。
• 在初始化脚本中添加调试命令，输出关键信息：

  #!/bin/bash
  java -version
  echo "Current PYSPARK_SUBMIT_ARGS: $PYSPARK_SUBMIT_ARGS"
  echo "Java temp dir: $JAVA_IO_TMPDIR"
  

内容的提问来源于stack exchange，提问作者codninja0908