Docker部署Airflow调用Spark报错Java gateway进程未发送端口号

你之前的JAVA_HOME配置完全无效：

1. Docker容器是隔离的Linux运行环境，你配置的E:/Java/jdk1.8.0_321是Windows宿主机的本地路径，容器内部不存在这个目录，PySpark启动时找不到Java运行环境，直接触发网关进程退出报错。
2. Dockerfile里的RUN export JAVA_HOME是无效写法：RUN指令会启动独立的临时Shell进程执行命令，进程退出后export的环境变量不会持久化到容器运行环境中。
3. Windows平台编译的JDK二进制无法直接在Linux容器内运行，就算把宿主机JDK目录挂载进容器也无法正常调用。

• 修复容器内Java环境配置
  直接在Dockerfile中安装适配Linux系统的JDK版本（优先选和本地版本一致的JDK8，兼容性最好），正确配置持久化环境变量，以Debian系基础镜像为例，配置片段如下：

  # 安装OpenJDK8，安装完成后清理apt缓存减小镜像体积
  RUN apt-get update && apt-get install -y --no-install-recommends openjdk-8-jdk-headless && \
      rm -rf /var/lib/apt/lists/*
  # 配置容器内真实存在的JDK路径，不要使用Windows盘符路径
  ENV JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
  ENV PATH=$JAVA_HOME/bin:$PATH
  

  重新构建镜像后，进入容器执行java -version、echo $JAVA_HOME两个命令，确认Java可正常调用、环境变量路径正确。
• 校验版本兼容性
  确认容器内安装的PySpark版本和Java版本匹配：Spark 2.x/3.0-3.3系列兼容Java 8/11，不要安装Java 17及以上版本，否则会出现启动兼容问题。PySpark版本请和你本地正常运行时的版本保持一致，避免依赖差异报错，安装命令：

  pip install pyspark==<本地运行正常的版本号>
  

• 验证容器到HDFS的网络连通性
  Java环境正常后，先在容器内执行curl host.docker.internal:9000或者telnet命令测试端口连通性。如果使用的是旧版Docker Desktop for Windows，启动容器时需要额外添加参数--add-host=host.docker.internal:host-gateway，确保容器能正常解析该域名指向Windows宿主机。
  另外需要确认Windows宿主机上的HDFS配置没有绑定127.0.0.1，需要绑定0.0.0.0允许外部容器访问。
• 验证Spark初始化逻辑
  先在容器内直接执行pyspark命令启动交互Shell，确认Spark上下文可以正常初始化，再运行读取HDFS文件的代码，排除Airflow调度层面的权限、环境变量加载问题。

不要尝试将Windows宿主机的JDK目录挂载到Linux容器中使用，跨平台编译的二进制文件无法在不同系统环境下直接运行，必须安装对应系统架构的Java安装包。

内容的提问来源于stack exchange，提问作者Val