如何在Apache Airflow的Docker环境中正确安装bs4与titlecase包？

你的问题核心是Airflow容器的Python环境和主机IDE环境完全隔离，主机安装的包不会自动同步到容器里，必须在容器环境内安装依赖。以下是几种可靠的解决方案：

方法1：通过docker-compose.yml配置自动安装（推荐，适合官方部署） #

官方Airflow的docker-compose支持通过环境变量批量添加pip依赖：

1. 打开你的docker-compose.yml文件，找到x-airflow-common这个共享服务模板（所有Airflow服务都会继承这个配置）
2. 在environment区块中添加_PIP_ADDITIONAL_REQUIREMENTS变量：

   x-airflow-common:
     &airflow-common
     # 其他配置...
     environment:
       &airflow-common-env
       # 原有环境变量...
       _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:- beautifulsoup4 titlecase}
   

3. 重启Airflow容器，让配置生效：

   docker-compose down
   docker-compose up -d
   

重启后，所有Airflow服务（webserver、scheduler、worker）都会自动安装这两个包。

方法2：自定义Dockerfile构建镜像（适合定制化环境） #

如果需要长期固化依赖，或者有更多定制需求，可以基于官方Airflow镜像构建自己的镜像：

1. 创建Dockerfile文件，内容如下（替换2.x.x为你实际使用的Airflow版本）：

   FROM apache/airflow:2.x.x
   RUN pip install --no-cache-dir beautifulsoup4 titlecase
   

2. 构建自定义镜像：

   docker build -t custom-airflow-image .
   

3. 修改docker-compose.yml中所有Airflow服务的image字段，替换为你的自定义镜像名：

   airflow-webserver:
     <<: *airflow-common
     image: custom-airflow-image
     # 其他配置...
   airflow-scheduler:
     <<: *airflow-common
     image: custom-airflow-image
     # 其他配置...
   

4. 重启容器生效。

方法3：进入容器临时安装（仅用于测试，重启后失效） #

如果只是临时验证功能，可以直接进入Airflow的scheduler或worker容器安装：

1. 查看Airflow容器名称：

   docker ps | grep airflow-scheduler
   

2. 进入容器：

   docker exec -it <你的airflow-scheduler容器名> bash
   

3. 在容器内执行pip安装：

   pip install beautifulsoup4 titlecase
   

注意：这种方式安装的依赖会在容器重启后丢失，不用于生产环境。

验证安装是否成功 #

进入任意Airflow容器，执行以下命令检查包是否存在：

pip list | grep -E "beautifulsoup4|titlecase"

或者在DAG中添加测试代码：

import bs4
import titlecase

def test_dependencies():
    print("bs4版本:", bs4.__version__)
    print("titlecase版本:", titlecase.__version__)

内容的提问来源于stack exchange，提问作者Chris