如何在Docker运行的Airflow中添加自定义Airflow Provider

1. 准备自定义Provider包 #

• 按Airflow官方规范整理你的自定义Provider：需要包含airflow/providers/你的提供者名称目录，以及setup.py、pyproject.toml这类必要配置文件，参考官方Provider的结构即可。
• 将包打包成wheel文件，执行命令：python setup.py bdist_wheel，生成的wheel文件会存放在dist/目录下。

2. 选择合适的安装方式（二选一即可） #

方式一：构建自定义Airflow镜像（生产环境推荐） #

• 基于你当前使用的官方Airflow镜像编写Dockerfile：

# 替换成你实际在用的Airflow版本镜像
FROM apache/airflow:2.8.0

# 把自定义Provider的wheel文件复制到镜像内
COPY your-provider-0.1.0-py3-none-any.whl /tmp/

# 安装自定义Provider
RUN pip install /tmp/your-provider-0.1.0-py3-none-any.whl

• 构建新镜像：docker build -t custom-airflow:2.8.0 .
• 停止原有Airflow容器，用新镜像重启服务：

docker-compose down
docker-compose up -d

方式二：挂载本地目录到容器（开发调试用） #

• 如果处于开发阶段，不想每次修改代码都重新构建镜像，可以直接把本地Provider源码目录挂载到容器的Python依赖目录：
• 修改docker-compose.yml中airflow-webserver、airflow-scheduler等服务的volumes配置：

volumes:
  - ./本地Provider源码路径:/home/airflow/.local/lib/python3.10/site-packages/airflow/providers/你的提供者名称

• 重启相关容器：docker-compose restart airflow-webserver airflow-scheduler

3. 验证安装结果 #

• 进入Airflow容器：docker exec -it <你的webserver容器ID> bash
• 执行命令检查：airflow providers list | grep 你的提供者名称
• 也可以打开Airflow UI，在Admin -> Providers页面查看是否存在你的自定义Provider。

内容的提问来源于stack exchange，提问作者Naga Vijayapuram