Airflow打包DAG(Zip文件)无法识别问题求助
Airflow DAG Zip包结构验证与说明
看起来你已经按照Airflow文档的要求完成了DAG代码库的Zip打包操作,先给你确认一下你遵循的约定是完全正确的——Airflow确实会识别Zip根目录下的DAG文件,同时把Zip内的子目录当作Python包来处理,这样你就可以在DAG里导入子目录中的模块了。
你提供的Zip文件内容列表(通过unzip -l命令查看)如下:
$ unzip -l $AIRFLOW_HOME/dags/test_with_zip.zip Archive: /home/arjunc/Tutorials/airflow/dags/test_with_zip.zip Length Date Time Name --------- ---------- ----- ---- 0 2018-03-29 17:46 hellow...
如果之后你遇到DAG不加载、模块导入失败这类问题,可以检查几个常见点:
- 确认Zip包内的DAG文件符合Airflow的DAG定义规范(比如存在
DAG实例,设置了有效的dag_id等) - 子目录中需要包含
__init__.py文件(哪怕是空文件),这是Python识别包的必要条件,Airflow也依赖这个来加载子目录模块 - 确保Zip包的权限设置正确,Airflow运行进程拥有读取该文件的权限
内容的提问来源于stack exchange,提问作者Codious-JR
相关产品推荐
相关产品推荐

