如何在Airflow中设置dev/qa/prod环境变量并保障配置有效性？

方案1：注入带Airflow标识的系统环境变量（最稳定） #

• Airflow 会自动识别前缀为 AIRFLOW_VAR_ 的系统级环境变量，优先级高于UI配置的变量，不存在过期失效问题。
• 配置方法：在Airflow的Scheduler、Worker、WebServer三个核心服务的运行环境中添加变量即可。比如你要配置ENV标识，开发环境设置 AIRFLOW_VAR_ENV=dev，生产环境设置 AIRFLOW_VAR_ENV=prod
  • 如果你用Docker/Docker Compose部署，直接在服务的environment配置段添加对应参数即可
  • 如果你是原生部署，在Airflow服务的启动脚本、systemd配置文件或者服务器全局/etc/profile文件中添加对应环境变量即可
• 调用方式：
  1. 通过Airflow原生Variable模块读取：

  from airflow.models import Variable
  env = Variable.get("env")
  s3_bucket = f"s3-{env}-bucket"
  

  2. 直接读取系统环境变量：

  import os
  env = os.getenv("AIRFLOW_VAR_ENV")
  s3_bucket = f"s3-{env}-bucket"
  

方案2：通过airflow.cfg配置文件定义变量 #

• 适合单节点部署场景，变量保存在本地配置文件中，不会随元数据库变动失效
• 配置方法：打开airflow.cfg配置文件，找到[variables]段落（没有就手动新增），添加配置：

  [variables]
  env = dev
  

• 调用方式：

  from airflow.configuration import conf
  env = conf.get("variables", "env")
  s3_bucket = f"s3-{env}-bucket"
  

方案3：本地变量文件批量导入 #

• 适合需要批量管理多个变量的场景，可以避免UI误修改变量的问题
• 配置方法：将所有变量写入JSON格式的配置文件，比如variables.json：

  {
    "env": "dev",
    "other_custom_var": "value"
  }
  

  然后通过Airflow CLI命令执行导入：airflow variables import variables.json，可以配置定时任务定期执行导入操作，覆盖UI的修改内容

之前你在UI配置的变量失效，通常是元数据库被重置、变量被其他DAG/操作误覆盖、多节点部署时节点和元数据库同步异常导致的，上述三种方案都可以规避这类问题。

内容的提问来源于stack exchange，提问作者Sonia Goyal