Docker Swarm环境下所有Stack自动重启及服务异常排查求助

• Docker节点层面日志：
  • 查看Docker daemon的详细运行日志，不同系统路径不同：
    • Debian/Ubuntu：journalctl -u docker.service -f（实时追踪）
    • RHEL/CentOS：tail -f /var/log/docker.log
  • 这里能找到Swarm控制平面的调度、节点状态变化相关日志，可定位服务重启的触发原因。
• VMware虚拟化层面日志：
  • 登录vCenter查看虚拟机的事件日志（路径：监控 > 事件），排查是否存在虚拟机重启、资源抢占、存储/网络异常事件。
  • 登录ESXi主机，查看内核日志/var/log/vmkernel.log和管理日志/var/log/hostd.log，检查是否有虚拟机IO超时、网络中断等问题。
• Spring Boot应用内部日志：
  • 如果应用日志未输出到容器stdout/stderr，直接进入容器查看本地日志文件：docker exec -it <container_id> cat /path/to/app.log（路径根据Spring Boot配置调整，通常是/var/log/app.log或logs/app.log）。
  • 通过docker inspect <container_id> | grep LogPath找到容器日志文件的主机路径，直接读取该文件，可能包含docker service logs未捕获的启动/崩溃瞬间日志。
• Swarm实时事件日志：
  • 运行docker events --filter 'type=service' --filter 'action=start' --filter 'action=stop'实时捕获服务启停事件，能看到触发重启的具体触发源（如节点状态变化、任务失败）。

• 验证Swarm集群节点状态：
  • 执行docker node ls检查所有节点的状态（Active/Ready），若有节点标记为Unavailable/Down，Swarm会重新调度服务，可能引发全Stack重启。
• 确认服务重启策略与配置：
  • 执行docker service inspect <service_id> | grep -A 10 RestartPolicy，验证restart_policy是否确实为on-failure，同时检查是否存在UpdateConfig中的自动更新规则（如自动拉取镜像）导致的意外重启。
• 排查特定服务的依赖问题：
  • 报错服务是否依赖其他服务（如数据库、中间件）？Swarm的depends_on仅控制启动顺序，不等待依赖服务就绪。给依赖服务添加healthcheck，并在报错服务的配置中通过condition: service_healthy确保依赖就绪后再启动。
• 检查容器健康检查配置：
  • 执行docker service inspect <service_id> | grep -A 10 HealthCheck，若配置了不合理的健康检查规则（如超时时间过短），可能导致Swarm误判服务故障并重启。
• 分析虚拟机性能与资源：
  • 在vCenter查看虚拟机的性能图表，检查CPU、内存、磁盘IO、网络延迟是否有异常峰值，排除资源瞬时耗尽或存储IO超时导致的服务重启。
• 捕获崩溃服务的现场日志：
  • 针对重启后报错的服务，在其启动时实时追踪日志：docker logs -f <container_id>，或挂载日志目录到主机（volumes: - ./logs:/var/log/app），保存崩溃瞬间的完整日志。同时检查容器内是否生成Spring Boot堆转储文件（.hprof），用于分析内存溢出或线程死锁问题。
• 验证Docker版本兼容性：
  • 确保Swarm集群所有节点的Docker版本一致，执行docker version对比各节点的Server版本，版本差异可能导致调度逻辑异常。

内容的提问来源于stack exchange，提问作者Deepak Yadav