You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Docker Compose部署Airflow时Oracle Provider模块未找到问题

问题原因及解决步骤

核心原因

你遇到的问题主要来自两个常见场景:

  1. 临时安装的Provider重启后丢失:Docker容器的文件系统是临时挂载的,直接在容器内用pip install安装的依赖,容器重启后会被重置。即便你重启后再次验证安装成功,也可能只是在单个容器(比如webserver)中完成了安装,而DAG实际运行的worker/scheduler容器并未同步安装该依赖。
  2. 多容器环境下依赖未同步:Airflow的Docker Compose部署包含webserver、scheduler、worker等多个独立容器,你可能仅在某个容器中安装了Oracle Provider,但DAG的执行逻辑是在worker容器中完成的,导致执行时触发模块找不到的错误。

正确解决步骤

不要使用容器内临时安装的方式,而是通过官方推荐的持久化安装方法:

方法一:通过环境变量指定额外依赖

  1. 打开你的docker-compose.yaml文件,找到x-airflow-common服务的environment配置块,添加:
    _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:-apache-airflow-providers-oracle}
    
    (如果需要指定适配Airflow 2.10.5的兼容版本,可写为apache-airflow-providers-oracle>=3.10.0)
  2. 重启所有Airflow容器:
    docker-compose down && docker-compose up -d
    

方法二:使用requirements.txt挂载安装

  1. 在docker-compose.yaml同目录下创建requirements.txt文件,内容为:
    apache-airflow-providers-oracle
    
  2. 修改x-airflow-common服务的volumes配置,添加本地文件挂载:
    volumes:
      - ./requirements.txt:/requirements.txt
      # 保留原有其他挂载项
    
  3. 在x-airflow-common的environment中添加:
    _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:- -r /requirements.txt}
    
  4. 重启容器:
    docker-compose down && docker-compose up -d
    

方法三:构建自定义Airflow镜像(最稳定)

  1. 在当前目录创建Dockerfile:
    FROM apache/airflow:2.10.5
    RUN pip install --no-cache-dir apache-airflow-providers-oracle
    
  2. 修改docker-compose.yaml中x-airflow-common的image和build配置:
    x-airflow-common:
      &airflow-common
      image: my-custom-airflow:2.10.5
      build: .
      # 保留原有其他配置项
    
  3. 重新构建镜像并启动容器:
    docker-compose build && docker-compose up -d
    

额外检查项

  • 验证所有相关容器的依赖:进入worker容器执行pip list | grep apache-airflow-providers-oracle,确认Provider已安装。
  • 检查导入权限:如果你的Airflow开启了模块导入限制,需在docker-compose.yaml的环境变量中添加:
    AIRFLOW__CORE__ALLOWED_IMPORTED_MODULES: ${AIRFLOW__CORE__ALLOWED_IMPORTED_MODULES:-airflow.providers.oracle}
    
    若有多个允许的模块,用逗号分隔。

内容的提问来源于stack exchange,提问作者maantarng

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.06.13 21:46:02