Apache Airflow 2.3.0问题：DAG未在浏览器界面中显示

我来帮你一步步搞定Airflow 2.3.0遇到的这两个麻烦：

一、处理控制台的元数据库与Executor警告 #

这个警告是Airflow在严肃提醒你：当前配置完全不适合生产环境，得赶紧调整：

1. 替换SQLite为Postgres/MySQL作为元数据库 #

SQLite是单文件数据库，不支持并发写操作，生产环境用它会导致任务阻塞、数据丢失风险拉满。切换步骤：

• 先安装对应数据库的Airflow提供者包：
  • Postgres：pip install apache-airflow-providers-postgres
  • MySQL：pip install apache-airflow-providers-mysql
• 打开airflow.cfg配置文件，找到sql_alchemy_conn项，替换成你的数据库连接字符串：
  • Postgres示例：postgresql+psycopg2://your_user:your_password@db_host:5432/airflow_db
  • MySQL示例：mysql+pymysql://your_user:your_password@db_host:3306/airflow_db
• 初始化新的元数据库（如果是旧环境，记得先备份原有SQLite数据）：airflow db init
• 重启Airflow的webserver和scheduler服务：airflow webserver --restart、airflow scheduler --restart

2. 替换SequentialExecutor为生产级Executor #

SequentialExecutor是单线程执行器，一次只能跑一个任务，完全满足不了生产需求。推荐用CeleryExecutor或KubernetesExecutor，这里以CeleryExecutor为例：

• 安装Celery和消息队列依赖，比如用Redis的话：pip install apache-airflow-providers-redis
• 修改airflow.cfg：
  • 把executor项改成CeleryExecutor
  • 设置broker_url为Redis连接：redis://redis_host:6379/0
  • 设置result_backend为Redis或数据库：db+postgresql://your_user:your_password@db_host:5432/airflow_db
• 启动Celery Worker：airflow celery worker
• 再次重启webserver和scheduler

二、解决DAG在命令行可见但界面不显示的问题 #

这种情况通常是DAG加载时出了小纰漏，按以下步骤排查：

• 检查DAG基础配置：

  • 确保dag_id只用小写字母、数字和下划线，别用空格或特殊字符，Airflow UI对特殊字符兼容性极差
  • 确认start_date设置的是过去的时间（比如datetime(2024, 1, 1)），如果是未来时间，Airflow会直接把它藏起来
  • 检查DAG是否被设置为active=False，改成active=True才能在UI中显示

• 验证文件与权限：

  • 确认你的DAG文件放在airflow.cfg中dags_folder指定的目录下，路径要丝毫不差
  • 确保DAG文件的权限允许Airflow进程读取（比如设置成chmod 644 your_dag.py）

• 查看日志找错误：

  • 检查webserver日志：airflow logs -n 50 webserver，看是否有加载DAG时的语法错误或依赖缺失
  • 检查scheduler日志：airflow logs -n 50 scheduler，scheduler负责扫描DAG，日志里大概率会有未加载的原因

• 手动触发加载：

  • 执行airflow dags trigger -d <your_dag_id>强制触发DAG加载
  • 或者重启scheduler服务，让它重新扫描dags_folder目录

• 检查UI过滤条件：

  • 看看Airflow UI右上角有没有勾选「Hide Paused DAGs」，如果你的DAG是暂停状态，这个选项会把它隐藏；也可以检查「Tags」等其他过滤标签，是不是不小心筛选掉了目标DAG

内容的提问来源于stack exchange，提问作者Nikitha Singh