Apache Airflow Docker环境如何安装Spark对应Airflow Provider包

方法1：修改docker-compose.yml配置永久安装（推荐） #

官方提供的docker-compose模板预留了额外依赖安装的环境变量，按以下操作即可持久生效：

• 打开本地的docker-compose.yaml文件，定位到x-airflow-common配置块下的environment字段
• 在environment列表中添加如下配置：

  _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:- apache-airflow-providers-apache-spark==2.0.2}
  

  注：指定2.0.2版本是为了适配Airflow 2.1.4，避免高版本Provider出现兼容问题
• 保存配置文件后，执行命令重启所有Airflow容器：

  docker-compose down && docker-compose up -d
  

方法2：临时进入容器安装（重启容器后失效，仅用于测试验证） #

如果不想修改配置文件临时测试，可以直接进入运行中的容器安装：

• 执行命令给scheduler容器安装Spark Provider：

  docker exec -it <你的scheduler容器名称/ID> pip install apache-airflow-providers-apache-spark==2.0.2
  

• 执行命令给webserver容器安装Spark Provider：

  docker exec -it <你的webserver容器名称/ID> pip install apache-airflow-providers-apache-spark==2.0.2
  

• 重启scheduler和webserver容器后生效

生效验证 #

• 登录Airflow Web UI，依次进入Admin -> Connections页面，点击新增连接按钮
• 展开Connection Type下拉列表，若可以找到Spark选项，即表示安装成功

内容的提问来源于stack exchange，提问作者sanchit08