Airflow 2.5.0 Broken DAG问题：已装joblib仍提示模块未找到

核心原因 #

你安装的joblib不在Airflow运行的Python环境里，Airflow的调度器、Worker会使用独立的Python环境，和你本地/终端手动安装模块的环境大概率不是同一个。

解决步骤 #

1. 确认Airflow使用的Python解释器路径 #

• 若用LocalExecutor，执行命令查看：

  airflow info | grep "Python Version"
  

  也可以直接查看Airflow启动日志，里面会明确标注当前使用的Python路径。
• 若用Docker部署，进入容器后执行which python获取路径。

2. 在Airflow的Python环境中安装joblib #

根据获取到的Python路径，用对应pip安装：

• 比如路径为/opt/airflow/.venv/bin/python，执行：

  /opt/airflow/.venv/bin/pip install joblib
  

• Docker部署场景：
  • 临时解决：进入容器执行pip install joblib
  • 持久化解决：在项目的requirements.txt中添加joblib，重新构建镜像并重启Airflow服务。

3. 验证安装结果 #

进入Airflow的Python环境，执行以下命令：

/opt/airflow/.venv/bin/python -c "import joblib; print(joblib.__version__)"

能正常输出版本号说明安装成功，刷新Airflow WebUI后，Broken DAG的提示会消失。

4. 额外注意事项 #

• 若使用CeleryExecutor，所有Worker节点都需要安装joblib，否则Worker执行任务时仍会报错。
• 避免用sudo pip install，这会将模块安装到系统Python环境，Airflow通常不会使用该环境。

内容的提问来源于stack exchange，提问作者Eren_anad