Docker部署的Apache Airflow中运行Spark任务报错求助

一、Airflow中SparkSubmit报“Java Home not found”的解决方法 #

• 检查Airflow容器的Java环境：
  进入Airflow容器执行命令：

  docker exec -it <airflow-container-id> bash
  java -version
  echo $JAVA_HOME
  

  如果没有Java，安装OpenJDK（以Debian/Ubuntu镜像为例）：

  apt-get update && apt-get install -y openjdk-11-jdk
  

  然后设置JAVA_HOME环境变量，比如写入/etc/profile：

  echo "export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64" >> /etc/profile
  source /etc/profile
  

• 通过Docker Compose配置（如果用Compose部署Airflow）：
  在docker-compose.yml的Airflow服务（如airflow-worker、airflow-webserver）中添加环境变量：

  environment:
    - JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
    - SPARK_HOME=/path/to/spark-client  # 若Airflow需调用Spark客户端，需添加此变量
  

• 确保Airflow容器内有Spark客户端：
  若提交任务到远程Spark集群，Airflow容器需要安装对应版本的Spark客户端，否则SparkSubmit无法正常调用Spark命令。

二、Spark Master容器中spark-submit命令错误及Ivy问题解决 #

1. 修正spark-submit命令格式 #

原命令存在两处语法错误：

• spark//localhost:7077 应为 spark://localhost:7077（双斜杠前需加冒号）
• --deploy mode 应为 --deploy-mode（参数名是连字符连接）

正确命令：

spark-submit --master spark://localhost:7077 --deploy-mode client my_script.py

2. Ivy错误处理 #

• 检查容器网络连通性：
  执行以下命令测试能否访问Maven中央仓库（Spark默认从这里下载依赖）：

  curl https://repo1.maven.org/maven2/
  

  若无法访问，需配置容器的网络代理，或者切换到国内镜像源（修改Spark的conf/spark-defaults.conf，添加spark.jars.repositories https://maven.aliyun.com/repository/public）。
• 离线环境处理：
  若处于离线环境，提前将脚本依赖的JAR包放到Spark容器的$SPARK_HOME/jars目录，或者在spark-submit命令中通过--jars参数指定本地JAR路径：

  spark-submit --master spark://localhost:7077 --deploy-mode client --jars /path/to/dependency.jar my_script.py
  

• 确认容器内JAVA_HOME配置：
  官方Spark镜像默认已配置Java，执行echo $JAVA_HOME验证路径是否正确，若为空，手动设置：

  export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
  

内容的提问来源于stack exchange，提问作者Shishir Hossain