如何在Docker流水线中，待Consumer/Spark任务完成后停止Broker与Zookeeper？

以下是几个简便可行的方案，你可以根据场景选择：

方案一：通过Docker Compose命令参数控制 #

启动流水线时，指定以最终完成的服务作为退出触发点，后续自动停止目标容器。如果你的流水线以jupyter-pyspark-notebook为最终任务，执行这条命令即可：

docker-compose up --exit-code-from jupyter-pyspark-notebook && docker-compose down zookeeper broker

• --exit-code-from 参数会让 docker-compose up 在指定服务（如jupyter任务）成功结束后退出
• 后续的 docker-compose down 会停止并清理zookeeper和broker容器
• 如果需要在consumer完成后就停止，把参数换成consumer即可

方案二：在任务脚本中直接触发停止操作 #

在consumer.py或Spark.py的任务逻辑执行完毕后，添加代码调用Docker命令停止zookeeper和broker容器。示例代码：

import subprocess
# 任务完成后执行停止命令
subprocess.run(["docker", "stop", "zookeeper", "broker"], check=True)

同时需要给对应的服务（consumer或jupyter-pyspark-notebook）挂载宿主机的Docker套接字，让容器能访问宿主机的Docker环境，修改docker-compose配置：

# 以consumer服务为例，添加以下volume配置
volumes:
  - ./consumer.py:/app/consumer.py
  - /var/run/docker.sock:/var/run/docker.sock  # 新增这一行

这种方式最直接，任务结束后立刻停止依赖服务。

方案三：新增监控容器统一控制 #

添加一个专门的监控服务，等待consumer和jupyter任务完成后，执行停止命令。在docker-compose.yml中新增配置：

monitor:
  image: alpine:latest
  volumes:
    - /var/run/docker.sock:/var/run/docker.sock
  command: >
    sh -c "
      # 等待consumer和jupyter服务停止
      until ! docker ps --filter name=consumer --format '{{.Names}}' | grep -q consumer; do sleep 5; done
      until ! docker ps --filter name=jupyter-pyspark-notebook --format '{{.Names}}' | grep -q jupyter-pyspark-notebook; do sleep 5; done
      # 停止zookeeper和broker
      docker stop zookeeper broker
    "
  depends_on:
    - consumer
    - jupyter-pyspark-notebook

这个方案用Alpine镜像自带的命令实现监控，不需要额外安装工具，等待目标服务停止后执行停止操作。

内容的提问来源于stack exchange，提问作者Kinggpuu