使用docker-compose部署Apache Airflow后CLI容器自动停止的问题

原因 #

• CLI容器本质是一次性任务容器：官方docker-compose配置中，airflow-cli服务默认没有长期运行的进程，启动后会执行默认的airflow命令（如帮助信息），执行完成后立即退出。
• docker-compose run命令的特性：该命令用于执行一次性任务，即使添加-d参数，容器在完成指定命令后仍会停止，而非持续运行。你删除profiles: debug后，启动的CLI容器执行完默认命令就会终止。

解决办法 #

临时进入CLI容器执行命令 #

直接在启动时指定交互式shell命令，让容器保持运行状态：

docker-compose run airflow-cli bash

执行后会直接进入容器的bash环境，退出后容器自动停止。如果需要退出后自动清理容器，可添加--rm参数：

docker-compose run --rm airflow-cli bash

让CLI容器长期运行（适合频繁使用场景） #

修改docker-compose.yml中airflow-cli服务的command字段，替换为一个长期挂起的命令，比如：

services:
  airflow-cli:
    # 保留其他原有配置
    command: tail -f /dev/null

修改后用up命令启动服务：

docker-compose up -d airflow-cli

此时容器会持续运行，之后可随时用以下命令进入容器：

docker exec -it airflow-airflow-cli-1 bash

借助其他运行中的Airflow容器执行命令 #

无需依赖CLI容器，直接在webserver或scheduler等持续运行的容器中执行airflow命令，比如：

# 在webserver容器中列出所有DAG
docker-compose exec webserver airflow dags list
# 在scheduler容器中执行任务测试
docker-compose exec scheduler airflow tasks test example_bash_operator runme_0 2024-01-01

内容的提问来源于stack exchange，提问作者luke33