如何在Airflow UI中修改Spark作业的conf.properties配置文件

核心思路 #

Airflow原生不支持直接在UI编辑本地配置文件，可通过以下几种方案实现无需CLI的配置修改需求：

方案1：用Airflow Variables替代conf.properties（推荐） #

把原conf.properties中的配置项迁移到Airflow Variables，让Spark作业从Variables读取配置：

• 打开Airflow UI的Admin > Variables页面，添加对应配置的键值对（比如spark_executor_instances、spark_driver_memory）；如果配置项较多，也可以用JSON格式存储一组配置。
• 修改Spark作业代码，从Variables读取配置：

  from airflow.models import Variable
  
  # 读取单个配置项
  executor_instances = Variable.get("spark_executor_instances", default_var="2")
  # 读取整组JSON格式配置
  spark_conf = Variable.get("spark_config", deserialize_json=True)
  

• 在Airflow的SparkSubmitOperator中，将读取到的配置传入conf参数：

  SparkSubmitOperator(
      task_id="spark_job",
      application="/path/to/your/spark/app.jar",
      conf=spark_conf,
      # 其他参数...
  )
  

• 后续修改配置直接在Variables页面编辑即可，无需操作服务器CLI。

方案2：自定义Airflow UI插件实现文件编辑 #

如果必须保留conf.properties文件，可开发简单插件在UI中添加文件编辑页面：

• 在Airflow的plugins目录下创建插件文件（比如file_editor_plugin.py）：

  from airflow.plugins_manager import AirflowPlugin
  from flask import Blueprint, request, render_template_string
  import os
  
  # 替换为你的conf.properties实际路径
  CONF_FILE_PATH = "/path/to/conf.properties"
  
  file_editor_bp = Blueprint(
      "file_editor", __name__
  )
  
  @file_editor_bp.route("/edit_spark_conf", methods=["GET", "POST"])
  def edit_conf():
      content = ""
      if request.method == "POST":
          content = request.form.get("content", "")
          with open(CONF_FILE_PATH, "w") as f:
              f.write(content)
      # 读取当前文件内容
      with open(CONF_FILE_PATH, "r") as f:
          content = f.read()
      return render_template_string("""
          <div style="padding:20px;">
              <h3>编辑Spark配置文件</h3>
              <form method="post">
                  <textarea name="content" rows="25" cols="120">{{ content }}</textarea>
                  <br><br>
                  <button type="submit">保存配置</button>
              </form>
          </div>
      """, content=content)
  
  class SparkConfEditorPlugin(AirflowPlugin):
      name = "spark_conf_editor"
      blueprints = [file_editor_bp]
  

• 重启Airflow Webserver后，在UI顶部导航会出现spark_conf_editor入口，点击即可编辑conf.properties。
• 注意：需确保Airflow Webserver进程拥有该文件的读写权限，同时要限制该页面的访问权限，避免未授权修改。

方案3：用Airflow Connections存储敏感配置 #

如果conf.properties包含数据库连接、API密钥等敏感信息，推荐用Connections存储：

• 在Airflow UI的Admin > Connections页面，创建Conn Id为spark_conf的连接，在Extra字段用JSON格式写入配置：

  {"spark.executor.instances": "3", "spark.driver.memory": "4g", "db_url": "jdbc:mysql://host:port/db"}
  

• 在Spark作业中读取Connection配置：

  from airflow.hooks.base_hook import BaseHook
  
  conn = BaseHook.get_connection("spark_conf")
  spark_conf = conn.extra_dejson
  

• 后续修改配置直接在Connections页面编辑Extra字段即可。

内容的提问来源于stack exchange，提问作者Nguyễn Hùng