Airflow环境下如何在本地<repo>.git仓库中跨文件引用Python函数

核心问题 #

你的问题根源有两个：

1. Python不允许导入语句中使用绝对文件路径或包含.的目录名（比如<repo>.git）
2. <repo>.git目录不在Python的sys.path搜索路径中，同时Airflow默认不会自动加载该目录下的plugins文件夹

解决方案 #

方案1：临时添加路径到Python搜索路径（快速解决） #

在x.py的最顶部添加以下代码，把自定义Operator所在的父目录加入Python的模块搜索路径：

import sys
from pathlib import Path

# 获取当前DAG文件所在目录的父级父目录（即<repo>.git目录）
repo_root = Path(__file__).parent.parent
# 把plugins目录的绝对路径加入sys.path
sys.path.append(str(repo_root / "plugins"))

# 现在可以正常导入了
from operators.y import HelloOperator

方案2：调整git-sync的克隆路径（推荐，长期解决方案） #

因为<repo>.git这种带.的目录名会给Python模块导入带来麻烦，建议修改git-sync的配置，将仓库克隆到不带.git后缀的路径，比如/home/airflow/<repo>。

修改后目录结构变为：

/home/airflow/<repo>/
├── dags/
│   └── x.py
└── plugins/
    └── operators/
        └── y.py

此时只需在x.py中添加：

from operators.y import HelloOperator

同时Airflow会自动识别/home/airflow/<repo>/plugins作为插件目录（如果你的Airflow配置中plugins_folder未包含该路径，可在airflow.cfg中添加plugins_folder = /home/airflow/<repo>/plugins）

方案3：配置Airflow加载额外插件目录 #

如果不想修改克隆路径，可以在Airflow的配置文件airflow.cfg中添加你的插件目录：

plugins_folder = /home/airflow/plugins,/home/airflow/<repo>.git/plugins

重启Airflow服务后，就可以直接在x.py中导入：

from operators.y import HelloOperator

注意：方案1中Path(__file__)会自动获取当前x.py的绝对路径，只要仓库内的目录相对结构不变，就能稳定生效。

内容的提问来源于stack exchange，提问作者jorgeavelar98