Kubernetes Pod状态为CrashLoopBackOff但无日志输出的解决方法

可能原因 #

• 容器日志未输出到标准输出(stdout)/标准错误(stderr)：非官方镜像默认将zookeeper日志写入容器内本地文件而非控制台，导致kubectl logs无返回
• 启动流程直接被终止无日志输出：常见为权限不足、入口命令(Entrypoint)不存在、资源不足OOM被内核直接kill，进程还没来得及生成日志就退出
• 启动脚本日志被强制丢弃：镜像内置的启动脚本将所有输出重定向到/dev/null，没有任何内容输出到控制台

解决方法 #

• 优先排查Pod事件与状态详情
  执行kubectl describe pod zookeeper-n1-pod-0 -n test-1，重点查看两个字段：
  1. Last State下的Reason、Message：会直接返回OOMKilled、PermissionDenied、ExecFormatError等终止原因
  2. 底部Events列表：可以看到Pod调度、启动全流程的报错信息
• 手动进入容器排查问题
  修改Pod的YAML配置，覆盖默认启动命令：

  command: ["sleep", "1800"]
  

  Pod启动正常后执行kubectl exec -it zookeeper-n1-pod-0 -c zookeeper-n1 -n test-1 -- bash进入容器，手动执行镜像默认的zookeeper启动命令，直接查看报错输出，同时也可以进入镜像内置的日志目录（通常为/var/log/zookeeper或/opt/zookeeper/logs）查看本地日志文件
• 校验权限与资源配置
  1. 若挂载了PVC存储用于存放zookeeper数据、日志，确认运行容器的用户有存储卷的读写权限，可临时配置securityContext.runAsUser: 0用root启动验证权限问题
  2. 确认容器内存limit不低于1G，zookeeper默认JVM堆内存配置较高，资源不足会直接被内核终止
• 本地验证镜像可用性
  登录到Pod调度到的Node节点，直接执行docker run <私有镜像地址>，本地运行镜像查看是否有报错输出，排除镜像本身的构建问题

注：kubectl logs命令返回码为0仅代表API请求执行成功，和容器是否产生了控制台日志无关联

内容的提问来源于stack exchange，提问作者Dolly