如何在K8s部署的Apache Airflow中自动安装requirements.txt依赖

针对你用官方Helm Chart部署的Airflow 2.3.0，且通过GitSync同步DAG仓库的场景，以下几种方法可以实现自动安装指定路径下的requirements.txt依赖：

方法1：通过Helm配置启用容器启动时自动安装 #

Airflow官方Helm Chart支持在scheduler和worker容器启动时自动执行pip安装依赖，只需在values.yaml中添加以下配置：

# 配置调度器自动安装依赖
scheduler:
  pip:
    installRequirements: true
    # 指定你的requirements文件路径（GitSync同步后在容器内的路径）
    requirementsFile: /opt/airflow/dags/repo/accounting/requirements/requirements.txt

# 配置工作节点自动安装依赖
worker:
  pip:
    installRequirements: true
    requirementsFile: /opt/airflow/dags/repo/accounting/requirements/requirements.txt

配置完成后，执行Helm升级命令生效：

helm upgrade airflow apache-airflow/airflow -f your-values.yaml

注意：这种方式是在容器启动阶段执行依赖安装，若DAG仓库中的requirements.txt更新，需要重启scheduler和worker容器才能重新安装新依赖。

方法2：利用GitSync的同步后钩子执行安装 #

如果需要每次GitSync同步DAG代码后立即更新依赖，可以配置GitSync的postSyncCommand，在代码同步完成后自动执行pip安装：

dags:
  gitSync:
    # 同步完成后执行依赖安装命令
    postSyncCommand: "pip install -r /opt/airflow/dags/repo/accounting/requirements/requirements.txt"

注意：需要确保GitSync侧车容器中具备pip环境（Airflow官方的GitSync镜像默认包含），若有系统级依赖（如编译Python包需要的gcc、libpq-dev等），需要提前自定义Airflow镜像并预装这些依赖。

额外注意事项 #

• 确认requirements.txt中的依赖版本与Airflow 2.3.0兼容，避免出现版本冲突导致服务异常
• 若使用CeleryExecutor，所有worker节点都需要安装依赖，务必配置worker的pip参数
• 对于频繁更新的依赖，建议结合自定义镜像预安装基础依赖，减少容器启动时的安装耗时

内容的提问来源于stack exchange，提问作者Romsik788