如何在Docker Compose启动时自动在Airflow Webserver容器执行命令？

问题分析 #

你之前的尝试踩了两个常见坑：

1. 修改command为webserver && ...时，Airflow CLI会把整个字符串当作单个子命令解析，所以报错invalid choice: 'webserver &&'
2. 直接覆盖entrypoint为bash -c会跳过官方Airflow镜像的环境初始化流程（比如设置Python路径、加载Airflow配置），导致找不到airflow模块

正确解决方案 #

方法1：自定义启动脚本（推荐，兼容所有命令） #

这个方法既保留原容器的初始化逻辑，又能灵活添加自定义命令：

1. 本地创建startup.sh脚本，添加需要执行的命令（注意SSH转发要后台运行，避免阻塞Webserver启动）：

#!/bin/bash

# 添加Airflow连接
airflow connections add conn1 --conn-type 'mysql' --conn-login 'user' --conn-password 'xxx' --conn-host 'mysql-host' --conn-port 3306

# 启动SSH端口转发（后台运行，加&）
ssh -o StrictHostKeyChecking=no -4 -N -L 3307:remote-mysql:3306 user@remote-host &

# 启动Airflow Webserver（必须用exec，保证信号能正确传递）
exec airflow webserver

2. 给脚本添加执行权限：

chmod +x startup.sh

3. 修改docker-compose.yaml中airflow-webserver的配置，挂载脚本并指定执行：

airflow-webserver:
  ...
  volumes:
    - ./startup.sh:/opt/airflow/startup.sh  # 挂载本地脚本到容器内
  command: bash /opt/airflow/startup.sh
  ports:
    - 8080:8080
  healthcheck:
    test: ["CMD", "curl", "--fail", "http://localhost:8080/health"]
    interval: 10s
    timeout: 10s
    retries: 5
  restart: always
  depends_on:
    ...
    airflow-init:
      condition: service_completed_successfully

方法2：利用初始化容器处理Airflow连接（分离职责） #

如果只是添加Airflow连接这类初始化操作，可以单独用一个初始化容器，避免和Webserver的启动逻辑耦合：

1. 在docker-compose.yaml中添加自定义初始化服务：

airflow-custom-init:
  image: apache/airflow:2.x.x  # 版本要和你的Airflow部署一致
  volumes:
    - ./dags:/opt/airflow/dags
    - ./logs:/opt/airflow/logs
    - ./plugins:/opt/airflow/plugins
  depends_on:
    airflow-init:
      condition: service_completed_successfully
  command: >
    bash -c "
      airflow connections add conn1 --conn-type 'mysql' --conn-login 'user' --conn-password 'xxx' --conn-host 'mysql-host' --conn-port 3306
    "

2. 修改airflow-webserver的依赖，等待自定义初始化完成：

airflow-webserver:
  ...
  depends_on:
    ...
    airflow-init:
      condition: service_completed_successfully
    airflow-custom-init:
      condition: service_completed_successfully

注意：SSH端口转发必须在Webserver容器内运行，所以这个方法只适合处理Airflow配置类命令，转发命令还是要用到方法1的启动脚本。

方法3：保留原Entrypoint追加命令 #

如果你不想用外部脚本，可以直接在entrypoint中复用原镜像的初始化逻辑：

airflow-webserver:
  ...
  entrypoint: |
    /usr/bin/dumb-init -- bash -c "
      # 执行自定义命令
      airflow connections add conn1 --conn-type 'mysql' --conn-login 'user' ...
      ssh -o StrictHostKeyChecking=no -4 -N -L ... &
      # 调用原镜像的entrypoint启动Webserver
      /entrypoint webserver
    "
  ...

注意：原镜像的entrypoint路径可能因版本不同变化，可以用docker inspect apache/airflow:2.x.x | grep Entrypoint查看具体路径。

关键注意事项 #

• SSH端口转发必须后台运行（加&），否则会占据前台进程，导致Webserver无法启动
• 启动Webserver时用exec，保证容器能正确接收停止信号（比如docker stop时能优雅退出）
• 所有命令要和容器内的Airflow版本兼容，避免CLI参数差异

内容的提问来源于stack exchange，提问作者seeker