Docker部署Apache Airflow时plugins目录无法导入自定义pf_utils包的问题排查与解决咨询

看起来你遇到的核心问题是Airflow加载插件时的Python路径与手动测试时的路径不一致——虽然你已经通过pip安装了pf_utils，但插件进程无法正确找到这个包。下面是几个可行的解决方案：

方案1：动态添加site-packages路径到插件代码 #

你之前尝试添加的是源码目录/opt/airflow/pf_utils，但实际pf_utils已经安装到了用户级site-packages目录/home/airflow/.local/lib/python3.6/site-packages。直接在snowflake_operator.py开头添加这段代码：

import sys
# 获取用户级site-packages路径并加入sys.path
from site import getsitepackages
sys.path.extend(getsitepackages())

# 现在可以正常导入目标函数了
from pf_utils.db import get_primary_keys

这种方式无需修改现有包结构，直接让插件进程能定位到已安装的包。

方案2：将pf_utils作为Airflow项目目录下的本地模块 #

既然你希望在DAG和插件中复用pf_utils，可以放弃pip安装的方式，直接把pf_utils目录放在/opt/airflow（即AIRFLOW_HOME目录）下。Airflow默认会把AIRFLOW_HOME加入Python的sys.path，这样不管是DAG还是插件代码，都能直接导入：

from pf_utils.db import get_primary_keys

这种方式更简单，也避免了pip安装带来的路径适配问题，尤其适合项目内部复用的工具包场景。

方案3：在Dockerfile中确保pf_utils被持久化安装 #

注意：如果你是手动进入容器执行pip install安装的pf_utils，容器重启后这个包会丢失。你需要在Dockerfile中添加安装步骤，确保每次构建镜像时都能自动安装：

# 将pf_utils目录复制到容器的AIRFLOW_HOME下
COPY pf_utils /opt/airflow/pf_utils
# 以可编辑模式安装包，修改代码后无需重新构建镜像
RUN pip install --user -e /opt/airflow/pf_utils

为什么之前的尝试无效？ #

• 相对导入（比如from ..pf_utils import db）：Airflow插件的导入上下文是plugins目录，而pf_utils不在plugins的父目录的Python包结构中，因此相对导入规则不适用。
• sys.path.append('/opt/airflow/pf_utils')：你添加的是源码目录，但插件进程的sys.path中没有包含site-packages，再加上setup.py的包结构配置，导致即使添加了源码路径也无法正确识别模块。

内容的提问来源于stack exchange，提问作者Javier Lopez Tomas