Docker部署Airflow提示缺少BS4模块 初学者如何安装pip依赖并构建镜像

临时安装（仅用于快速验证，容器重启后失效） #

• 首先获取运行中的Airflow容器ID：docker ps | grep airflow
• 进入容器交互终端：docker exec -it <你的Airflow容器ID> bash
• 执行pip安装命令：pip install beautifulsoup4
• 验证安装结果：pip list | grep beautifulsoup4，输出版本号即安装成功

永久安装（生产环境推荐，容器重建仍保留依赖） #

1. 编写自定义Dockerfile #

在你的docker-compose.yml同级目录新建Dockerfile文件，写入以下内容：

# 请将基础镜像版本替换为你当前使用的Airflow版本
FROM apache/airflow:2.8.0
USER root
# 此处可添加所有你需要的pip依赖，多个依赖用空格分隔
RUN pip install --no-cache-dir beautifulsoup4
USER airflow

如果需要安装的依赖较多，可维护单独的requirements.txt文件，将RUN命令替换为COPY requirements.txt . && pip install --no-cache-dir -r requirements.txt即可

2. 修改docker-compose配置 #

打开你的Airflowdocker-compose.yml文件，将所有服务中原本的镜像引用配置：

image: apache/airflow:2.8.0
统一替换为构建配置：
build: .

3. 重构镜像并启动服务 #

• 停止原有运行的Airflow服务：docker compose down
• 执行自定义镜像构建：docker compose build
• 后台启动Airflow服务：docker compose up -d

4. 验证配置有效性 #

进入新启动的任意Airflow服务容器，执行命令：
docker exec -it <新容器ID> pip list | grep beautifulsoup4
输出对应版本号即配置成功。

注意事项 #

• 基础镜像版本必须和你之前部署使用的Airflow版本完全一致，避免出现功能兼容问题
• 所有Airflow相关服务（webserver、scheduler、worker等）都需要使用同一个自定义镜像，避免依赖不一致导致的运行报错
• 生产环境禁止使用临时安装方案，容器销毁、重建后临时安装的依赖会全部丢失

内容的提问来源于stack exchange，提问作者Abdul Rafey