Airflow集群未装Java，提交Spark任务报JAVA_HOME未设置是否需安装？

是的，你需要在Airflow集群的任务执行节点上安装Java并配置JAVA_HOME环境变量，原因如下：

• 你使用的Spark任务提交Operator本质上是在Airflow节点执行spark-submit命令，而spark-submit是基于Java开发的工具，必须依赖Java环境才能运行——哪怕只是向远程Spark集群提交任务，本地的Spark客户端也需要Java支持。
• 不管你的Spark任务是运行在本地模式，还是提交到远程Standalone/YARN集群，只要Airflow节点需要执行spark-submit命令，就必须具备Java环境。

具体操作建议 #

• 安装与你的Spark集群版本兼容的Java（Spark 3.x推荐Java 8或11，避免版本不兼容问题）。
• 在Airflow执行任务的节点上配置JAVA_HOME环境变量：
  • 可以在系统层面配置（比如编辑/etc/profile或~/.bashrc），确保Airflow进程能读取到这个变量。
  • 也可以在Airflow的任务定义中通过env参数指定，例如：

    SparkSubmitOperator(
        task_id='flight_search_ingestion',
        conn_id='spark_test_id',
        application='./plugins/plug_code.py',
        total_executor_cores=4,
        executor_cores=2,
        executor_memory='5g',
        driver_memory='5g',
        name='flight_search_ingestion',
        execution_timeout=timedelta(minutes=10),
        env={'JAVA_HOME': '/path/to/your/java'},
        dag=dag
    )
    

• 验证：在Airflow节点上执行echo $JAVA_HOME和spark-submit --version，确认命令能正常输出，无报错。

内容的提问来源于stack exchange，提问作者Numonjon