Docker部署Airflow下PythonOperator导入外部包的最佳实践

直接进入运行中的容器执行pip安装属于临时操作，容器重启后安装的依赖会全部丢失，且pyodbc需要系统级依赖支持，直接pip安装会缺失编译依赖导致构建wheel失败。

生产环境首选：构建自定义Airflow镜像 #

Airflow官方镜像本身支持扩展，基于官方镜像预安装系统依赖和Python包即可实现依赖持久化，适配所有部署场景。
操作步骤：

• 新建Dockerfile文件，示例内容如下：

# 基于你正在使用的对应版本官方Airflow镜像
FROM apache/airflow:2.1.2
# 切换至root用户安装系统级依赖
USER root
# 安装pyodbc所需的编译依赖（官方镜像基于Debian系统，用apt包管理器）
RUN apt-get update && apt-get install -y --no-install-recommends \
    gcc \
    g++ \
    unixodbc-dev \
    && apt-get clean \
    && rm -rf /var/lib/apt/lists/*
# 切回airflow用户安装Python第三方包，避免权限问题
USER airflow
RUN pip install --no-cache-dir pyodbc

• 执行镜像构建命令：docker build . -t custom-airflow:2.1.2
• 修改你的docker-compose.yml配置，将所有服务（scheduler、worker、webserver等）使用的镜像替换为刚构建的custom-airflow:2.1.2，重启Airflow集群后所有组件都会生效。

开发环境快速验证：挂载requirements.txt #

如果是开发测试阶段不想频繁构建镜像，可以用文件挂载的方式注入依赖，注意该方案仍需要提前构建好带系统依赖的基础镜像，否则pyodbc安装依然会失败。
操作步骤：

• 本地新建requirements.txt，写入需要安装的Python包：

pyodbc==4.0.39

• 打开docker-compose.yml，为scheduler、worker服务的volumes配置增加挂载项：

volumes:
  - ./requirements.txt:/opt/airflow/requirements.txt

• 修改对应服务的启动命令，在原有启动逻辑前增加依赖安装步骤：

command: bash -c "pip install --user -r /opt/airflow/requirements.txt && exec airflow scheduler"

该方案仅适合临时测试使用，生产环境不推荐，会拉长服务启动时间且存在依赖安装失败的风险。

pyodbc安装失败的核心原因 #

pyodbc属于需要编译的Python扩展包，安装前必须预装对应操作系统的ODBC开发库，Debian/Ubuntu系为unixodbc-dev，CentOS/RHEL系为unixODBC-devel，缺失该依赖必然会出现wheel构建失败的报错。

内容的提问来源于stack exchange，提问作者Vincent Stevenson