Airflow升级后无法导入conda环境中已存在模块的问题求助
Airflow升级后无法导入conda环境中已存在模块的问题求助
各位好,我最近在自己的Ubuntu机器上,把专属conda/miniforge环境里的Airflow从2.3.0版本升级到了2.10.4版本。结果现在大部分DAG都没法运行了——明明conda环境里已经装了对应的包,但Airflow就是无法导入模块。
在WebUI里我看到了这样的DAG导入错误:
Broken DAG: [/home/omar/airflow/dags/omartest14.py] Traceback (most recent call last): File "<frozen importlib._bootstrap>", line 488, in _call_with_frames_removed File "/home/omar/airflow/dags/omartest14.py", line 4, in <module> import redis ModuleNotFoundError: No module named 'redis'
以前不管是在DAG文件里直接导入redis、Pandas这类模块,还是把这些模块放在我自己写的Python文件里再导入到主DAG文件,都完全没问题。但升级之后,DAG导入的时候就会抛出这类错误。另外需要说明的是,我的webserver和scheduler都是在这个Airflow对应的conda环境下运行的。
备注:内容来源于stack exchange,提问作者user2699676
相关产品推荐
相关产品推荐

