Docker Compose部署Airflow修改配置后UI不显示DAG如何解决
问题原因
- 权限问题:宿主机
/home/ubuntu/apache-airflow/下的dags、logs、plugins目录所有者和权限不符合容器内运行用户要求。你的docker-compose中配置容器运行用户为UID 50000,若宿主机对应目录没有给该UID开放读取权限,scheduler无法读取DAG文件,自然不会同步到UI。 - DAG文件存在语法/依赖错误:你关闭了示例DAG加载(
AIRFLOW__CORE__LOAD_EXAMPLES: 'False'),如果自行上传的DAG文件存在Python语法错误、依赖的第三方库未在Airflow镜像中安装,会导致DAG导入失败,不会在UI显示。 - 挂载未生效:虽然你配置了目录映射,仍有可能因为路径写错、目录不存在等问题导致实际挂载失败,容器内读不到DAG文件。
- 扫描未完成:Airflow scheduler默认每30秒扫描一次DAG目录,刚重启完可能需要等待1-2分钟才会同步DAG到UI。
修复步骤
- 修正目录权限,在宿主机执行以下命令:
sudo chown -R 50000:50000 /home/ubuntu/apache-airflow/
- 验证DAG文件有效性
- 进入scheduler容器:
docker exec -it $(docker ps | grep airflow-scheduler | awk '{print $1}') bash - 执行
ls /opt/airflow/dags确认能看到你上传的DAG文件 - 执行
python3 /opt/airflow/dags/你的DAG文件名.py检查是否有语法报错 - 执行
airflow dags list查看是否可以列出你的DAG
- 进入scheduler容器:
- 查看错误日志:打开宿主机
/home/ubuntu/apache-airflow/logs/scheduler目录下的最新日志,搜索DAG文件名,查看是否有导入失败的明确报错,针对性解决依赖或语法问题 - 补充Fernet Key(非强制但建议):执行
python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())"生成密钥,替换配置中AIRFLOW__CORE__FERNET_KEY的空值,避免后续敏感凭证存储异常。
内容的提问来源于stack exchange,提问作者abhi
相关产品推荐
相关产品推荐

