无法通过SparkSubmitOperator执行Spark独立模式任务，该如何配置？

我帮你分析下这个问题，你遇到的核心矛盾是SparkSubmitOperator的_resolve_connection()方法会覆盖你在conf里设置的master值，默认逻辑优先使用连接配置或默认的YARN设置。要在独立模式下正常运行任务，你需要直接显式指定master参数，而不是把它嵌套在conf字典里。

具体修改方案 #

1. 将master从conf中移除，作为SparkSubmitOperator的独立参数传入
2. 检查你的Spark全局配置（比如spark-defaults.conf），确保没有强制把spark.master设为YARN

修改后的完整DAG代码示例 #

from datetime import datetime
from airflow import DAG
from airflow.contrib.operators.spark_submit_operator import SparkSubmitOperator

args = { 
    'owner': 'airflow', 
    'start_date': datetime(2018, 5, 24) 
} 

dag = DAG(
    'spark_job', 
    default_args=args, 
    schedule_interval="*/10 * * * *"
) 

operator = SparkSubmitOperator(
    task_id='spark_submit_job',
    application='/home/ubuntu/test.py',
    total_executor_cores='1',
    executor_cores='1',
    executor_memory='2g',
    num_executors='1',
    name='airflow-spark',
    verbose=False,
    driver_memory='1g',
    # 直接指定master参数，替代conf里的嵌套设置
    master='spark://xx.xx.xx.xx:7077',
    dag=dag,
)

为什么之前的配置不生效？ #

看spark_submit_hook.py的源码逻辑，_resolve_connection()方法会按以下优先级确定master：

1. 如果指定了Spark连接（conn_id参数），优先使用连接配置里的master
2. 若未指定连接，则检查是否存在默认的Spark连接
3. 只有以上情况都不满足时，才会读取conf里的master设置，但很多场景下默认逻辑会覆盖这个配置

直接显式设置master参数会跳过整个连接解析流程，强制使用你指定的Spark独立集群地址。

额外注意事项 #

• 确保Airflow所在节点能访问Spark独立集群的master节点（端口7077需开放网络权限）
• 检查你的Spark应用代码，避免硬编码master地址，让Operator统一管理集群配置
• 确认集群资源足够分配你设置的executor数量和内存（比如num_executors=1+executor_memory=2g的组合）

内容的提问来源于stack exchange，提问作者mandar