如何为Airflow SparkSubmitOperator配置本地Spark Master

我之前也踩过这个一模一样的坑！Airflow的Spark连接配置确实有容易忽略的细节，尤其是本地模式下，稍不注意就会默认用YARN而不是你指定的local模式。

问题根源 #

你直接设置export AIRFLOW_CONN_SPARK_LOCAL=local[2]是不符合Airflow Connection的URI规范的。Airflow要求连接环境变量必须遵循<conn_type>://<host>的格式，缺少spark://前缀的话，Airflow会把这个连接识别为无效类型，导致SparkSubmitHook无法正确提取master参数，最终 fallback 到默认的YARN模式。

具体解决步骤 #

1. 修正环境变量格式

把环境变量改成符合Airflow连接URI的格式：

export AIRFLOW_CONN_SPARK_LOCAL=spark://local[2]

这里的spark://是连接类型标识，后面的local[2]就是你要指定的Spark Master地址。

2. 在DAG中正确引用conn_id

确保你的SparkSubmitOperator明确指定了这个conn_id：

from airflow.providers.apache.spark.operators.spark_submit import SparkSubmitOperator

spark_local_task = SparkSubmitOperator(
    task_id="run_spark_local_job",
    application="/path/to/your/spark/application.py",
    conn_id="spark_local",  # 必须和环境变量里的conn_id一致（小写）
    # 其他可选参数：比如executor_memory、total_executor_cores等
)

3. 验证连接是否正确加载

可以用一段简单的代码确认Airflow能正确读取连接信息：

from airflow.hooks.base import BaseHook

# 获取连接
spark_conn = BaseHook.get_connection("spark_local")
print(f"连接类型: {spark_conn.conn_type}")  # 应该输出 'spark'
print(f"Master地址: {spark_conn.host}")     # 应该输出 'local[2]'

如果输出符合预期，说明连接配置没问题了。

备选方案：手动在Airflow UI创建连接

如果你不想用环境变量，也可以直接在Airflow后台配置：

• 进入 Admin > Connections，点击 Add a new record
• 填写以下信息：
  • Conn Id: spark_local
  • Conn Type: Spark
  • Host: local[2]
  • 其余字段留空即可

保存后，DAG里的SparkSubmitOperator引用这个conn_id就能正确使用local模式了。

额外排查技巧 #

如果还是没生效，可以开启Airflow的DEBUG日志，查看SparkSubmitHook的执行日志，里面会打印出最终生成的spark-submit命令，你可以直接看到--master参数是否正确被设置，也能排查连接读取过程中的问题。

内容的提问来源于stack exchange，提问作者benlaird