Airflow Docker部署中导入cv2模块遇ModuleNotFoundError求助

问题原因 #

你在本地宿主机安装的opencv-python和Airflow运行的Docker容器是完全隔离的两个环境，容器内没有安装该模块，所以执行DAG时会报ModuleNotFoundError。cv2不属于交互式模块，完全可以在Airflow中使用，只要容器内安装对应的包即可。

解决方案 #

方法1：通过requirements.txt挂载安装（推荐） #

1. 在你的DAG目录下创建requirements.txt文件，写入：

   opencv-python-headless==4.10.0.84
   

   （优先用headless版本，因为容器是无GUI环境，避免依赖问题）

2. 找到Airflow的docker-compose.yml配置文件（如果是用Docker Desktop的官方Airflow部署，默认在你启动Airflow的目录下），修改airflow-worker和airflow-scheduler服务的配置：

   • 在volumes部分添加挂载：

     volumes:
       - ./requirements.txt:/requirements.txt
       # 保留原来的其他挂载项，比如DAG目录的挂载
     

   • 在environment部分添加环境变量：

     environment:
       - _PIP_ADDITIONAL_REQUIREMENTS=--requirement /requirements.txt
       # 保留原来的其他环境变量
     

3. 重启Airflow服务：

   docker-compose down && docker-compose up -d
   

方法2：自定义Airflow镜像 #

如果需要长期固化环境，适合用自定义镜像：

1. 创建Dockerfile：

   # 替换成你当前使用的Airflow版本号
   FROM apache/airflow:2.9.0
   USER root
   RUN pip install --no-cache-dir opencv-python-headless==4.10.0.84
   USER airflow
   

2. 构建自定义镜像：

   docker build -t my-custom-airflow:latest .
   

3. 修改docker-compose.yml中所有Airflow服务（webserver、worker、scheduler等）的image字段为你构建的镜像名：

   image: my-custom-airflow:latest
   

4. 重启服务：

   docker-compose down && docker-compose up -d
   

方法3：临时在容器内安装（仅用于测试） #

这种方式重启容器后安装的包会丢失，只适合临时验证：

1. 查看Airflow worker容器名称：

   docker ps | grep airflow-worker
   

2. 进入容器：

   docker exec -it <worker-container-name> bash
   

3. 安装包：

   pip install opencv-python-headless==4.10.0.84
   

注意事项 #

• 优先选择opencv-python-headless而非完整的opencv-python，因为容器没有GUI环境，完整版本的依赖可能导致安装或运行报错。
• 确保你的Airflow服务版本和自定义镜像的基础版本一致，避免兼容性问题。

内容的提问来源于stack exchange，提问作者the terminalor