Docker Compose集群重启异常及systemd启动故障排查求助

一、系统重启后容器崩溃的核心原因 #

• 依赖启动顺序缺失：restart: always仅保证容器重启，但不处理服务间的依赖就绪状态。比如数据库容器未完成初始化，API容器就启动，导致连接失败崩溃。
• 初始化容器残留无效状态：初始化容器执行退出后，可能遗留临时锁文件、未同步的配置文件，系统重启后其他容器读取到无效状态引发启动失败。
• Docker网络异常：系统重启后，Docker默认桥接网络可能未正常重建，导致容器间通信中断。
• 开机资源竞争：系统启动初期CPU、内存资源紧张，部分容器因资源不足启动失败，且无法自动恢复。

二、systemd服务报错“No such container...”的原因 #

• 工作目录不匹配：systemd服务默认工作目录并非docker-compose.yml所在路径，执行docker compose时找不到配置文件，误操作不存在的容器。
• 环境变量缺失：手动执行脚本时的环境变量（如PATH、DOCKER_HOST）在systemd服务环境中未加载，导致Docker命令执行异常。
• 启动时机过早：systemd服务在Docker daemon完全启动前就执行脚本，此时Docker无法响应命令，触发容器不存在的报错。

三、针对性解决方案 #

解决容器重启后崩溃问题 #

1. 添加健康检查与依赖控制：在docker-compose.yml中用healthcheck配合depends_on，确保依赖容器就绪后再启动当前服务：

   services:
     db:
       image: postgres:15
       healthcheck:
         test: ["CMD-SHELL", "pg_isready -U postgres"]
         interval: 5s
         timeout: 5s
         retries: 5
     api:
       image: my-api-image
       restart: always
       depends_on:
         db:
           condition: service_healthy
   

2. 清理初始化残留状态：在启动脚本start.sh中添加清理逻辑，清除初始化容器遗留的临时文件：

   rm -rf ./data/temp-locks/*
   

3. 使用自定义网络：在docker-compose.yml中定义专属网络，避免系统重启后默认网络异常：

   networks:
     cluster-internal:
       driver: bridge
   services:
     db:
       networks:
         - cluster-internal
     api:
       networks:
         - cluster-internal
   

4. 优化重启策略与资源限制：调整重启策略为失败重试，并设置合理资源上限，避免无限重启消耗资源：

   api:
     image: my-api-image
     restart: on-failure:3
     deploy:
       resources:
         limits:
           cpus: '0.5'
           memory: 512M
   

解决systemd服务启动报错问题 #

1. 指定工作目录：在systemd服务配置中添加WorkingDirectory，确保命令在配置文件所在路径执行：

   [Unit]
   Description=Docker Compose Cluster
   Requires=docker.service
   After=docker.service network.target
   
   [Service]
   Type=oneshot
   RemainAfterExit=yes
   WorkingDirectory=/opt/my-cluster-dir
   ExecStart=/opt/my-cluster-dir/start.sh
   ExecStop=/usr/bin/docker compose down
   
   [Install]
   WantedBy=multi-user.target
   

2. 加载必要环境变量：在systemd服务中显式设置PATH，避免命令找不到的问题：

   [Service]
   Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
   

3. 等待Docker daemon就绪：在start.sh中添加等待逻辑，确保Docker完全启动后再执行启动命令：

   until docker info >/dev/null 2>&1; do
     echo "Waiting for Docker daemon..."
     sleep 2
   done
   /usr/bin/docker compose up -d
   

4. 使用绝对路径执行命令：在脚本和systemd配置中使用docker compose的绝对路径（如/usr/bin/docker compose），避免PATH环境问题。

内容的提问来源于stack exchange，提问作者pcace