如何让Airflow Worker获取Airflow Web UI中创建的变量？

你遇到的这个现象，核心原因是Worker节点无法正确访问Airflow的元数据库——Airflow的变量是存储在元数据库中的，Scheduler和WebServer能正常读取变量，说明它们的配置指向了正确的元数据库，但Worker节点的配置或网络环境存在问题，导致它读不到元数据库里的变量值，只能触发异常返回默认值。

下面是具体的排查和解决步骤：

1. 核对Worker节点的Airflow配置 #

找到Worker服务器上的airflow.cfg配置文件（默认路径通常是~/airflow/airflow.cfg，分布式部署可能在/etc/airflow/目录下），重点检查[core]区域的sql_alchemy_conn配置项：

• 确保这个连接字符串和Scheduler/WebServer节点上的完全一致，比如PostgreSQL的连接串格式是postgresql+psycopg2://用户名:密码@数据库地址:端口/airflow数据库名
• 如果Worker通过AIRFLOW_CONFIG环境变量指定了其他配置文件路径，也要同步检查对应文件的配置

2. 验证Worker到元数据库的连通性 #

在Worker服务器上直接测试元数据库的连接是否正常：

• 以PostgreSQL为例，运行命令：psql postgresql://用户名:密码@数据库地址:端口/airflow数据库名，如果能成功进入数据库交互界面，说明网络和权限没问题
• 如果连接失败，需要排查：
  • 数据库服务器的防火墙是否允许Worker节点的IP访问
  • 元数据库的用户是否拥有读取Airflow变量表（variable表）的权限
  • 连接串里的用户名、密码、地址是否有误

3. 手动验证变量读取 #

在Worker节点上直接用Airflow命令读取变量，确认是否能获取到正确值：

airflow variables get DayVersion

• 如果返回的是你在WebUI设置的值，那问题可能出在airflow test运行时的环境（比如加载了错误的配置文件，可以用airflow test --cfg-path /path/to/correct/airflow.cfg 你的DAG名 start 执行日期指定配置文件）
• 如果返回的还是默认值'Day'，那肯定是元数据库连接的问题，回到前两步排查

优化建议：避免在DAG定义阶段读取变量 #

另外，你当前的代码是在DAG解析阶段就调用Variable.get()，这会导致变量值在DAG被加载时就确定了，而不是在任务运行时。更稳妥的做法是把变量读取逻辑放到任务执行阶段，比如修改BashOperator的命令：

start = BashOperator(
    task_id='start',
    bash_command="echo $(airflow variables get DayVersion || echo 'Day')",
    dag=dag
)

这样变量会在Worker执行任务时实时从元数据库获取，也能避免DAG解析阶段的依赖问题。

内容的提问来源于stack exchange，提问作者wenbin