PySpark JAVA_GATEWAY_EXITED错误求助：Airflow运行Spark会话失败

• 已部署spark-3.5.3-bin-hadoop3.tgz，并通过pip完成PySpark安装
• 终端环境下可正常启动并使用PySpark，JAVA_HOME配置验证正确，Airflow主进程也能正确读取JAVA_HOME
• 在Airflow DAG中执行Spark会话初始化代码时，触发错误：

  pyspark.errors.exceptions.base.PySparkRuntimeError: [JAVA_GATEWAY_EXITED]

• 已尝试多数公开解决方案，问题仍未解决

1. 确认Airflow Worker的环境变量完整性 #

Airflow主进程的环境变量不一定会完全继承给Worker进程，需验证Worker是否能读取SPARK_HOME和JAVA_HOME：

• 在DAG中添加打印环境变量的任务：

  from airflow.operators.bash import BashOperator
  
  print_env_task = BashOperator(
      task_id="print_worker_env",
      bash_command="echo JAVA_HOME: $JAVA_HOME && echo SPARK_HOME: $SPARK_HOME && env | grep -E '(JAVA|SPARK)'"
  )
  

• 若Worker未设置SPARK_HOME，需在Worker的启动脚本或airflow.cfg的env_vars中添加：

  SPARK_HOME=/path/to/your/spark-3.5.3-bin-hadoop3
  

2. 显式指定Spark配置初始化会话 #

在Airflow的PySpark任务中，强制指定Spark相关路径与参数，避免自动检测异常：

from pyspark.sql import SparkSession

def init_spark_session():
    spark = SparkSession.builder \
        .appName("Airflow_Spark_Task") \
        .config("spark.home", "/path/to/your/spark-3.5.3-bin-hadoop3") \
        .config("spark.driver.java.home", "/path/to/your/java_home") \
        .config("spark.executor.java.home", "/path/to/your/java_home") \
        .getOrCreate()
    # 执行后续任务
    spark.stop()

3. 检查详细日志定位根因 #

• 查看Airflow任务日志中的Spark Gateway输出（通常包含spark-submit或java进程的stderr信息），确认Gateway退出的具体原因（如依赖缺失、端口占用、权限不足）
• 直接在Worker节点上以Airflow运行用户身份执行PySpark初始化代码，复现问题并查看本地日志

4. 验证Worker用户的权限 #

• 确保Airflow Worker运行用户对JAVA_HOME目录、Spark安装目录及临时目录（如/tmp）有读写执行权限
• 若使用虚拟环境，确认虚拟环境中已正确关联系统的Java与Spark路径

5. 调整Gateway启动超时参数 #

部分场景下Gateway启动较慢会触发超时退出，可通过系统属性延长超时：

import pyspark

# 设置Gateway启动超时为30秒（默认10秒）
pyspark.SparkContext.setSystemProperty("spark.driver.gateway.startTimeout", "30000")
# 使用随机端口避免端口占用
pyspark.SparkContext.setSystemProperty("spark.driver.gateway.port", "0")

spark = SparkSession.builder.appName("Timeout_Fix").getOrCreate()

内容的提问来源于stack exchange，提问作者Perinban Parameshwaran