如何调试Kubernetes集群？Minikube本地集群Web服务无响应排查方法

第一步：确认Minikube基础集群状态正常 #

• 执行minikube status，确认输出中host、kubelet、apiserver、kubeconfig字段均为Running/Configured状态，无异常报错
• 执行kubectl get nodes，确认唯一的节点STATUS为Ready，无异常状态

第二步：确认应用负载运行正常 #

• 执行kubectl get pods（默认命名空间下，应用在其他命名空间加-n 命名空间名参数），查看Web应用对应的Pod：
  • 若STATUS为CrashLoopBackOff/ImagePullBackOff/Error等异常状态，执行kubectl logs <Pod名称>查看应用启动日志定位错误
  • 若STATUS为Pending，执行kubectl describe pod <Pod名称>查看Events字段的报错信息，通常为镜像拉取失败、资源不足、配置错误类问题
  • 正常运行的Pod需满足STATUS为Running，READY列为1/1（和你配置的副本数一致，如2/2），RESTARTS无频繁重启记录
• 执行kubectl get deployments，确认对应Deployment的READY列为就绪数/期望数，UP-TO-DATE、AVAILABLE数值正常

第三步：确认服务暴露配置正确 #

Minikube暴露Web服务通常有NodePort、LoadBalancer、ClusterIP+Ingress三种方式，对应检查规则如下：

• 执行kubectl get svc找到Web应用对应的Service：
  • NodePort方式：确认PORT(S)列格式为<服务端口>:<30000-32767范围的NodePort端口>/TCP，你访问的端口应为NodePort端口，而非Pod内部端口
  • LoadBalancer方式：Minikube需要单独开终端执行minikube tunnel才会分配外部IP，未执行该命令时EXTERNAL-IP会一直显示，先启动隧道再访问
  • Ingress方式：先执行minikube addons list | grep ingress确认Ingress插件已启用，未启用则执行minikube addons enable ingress；再执行kubectl get ingress确认Ingress规则的ADDRESS已分配，你访问的域名和HOSTS列配置的域名完全一致
• 执行kubectl describe svc <Service名称>查看Selector字段的标签，执行kubectl get pods --show-labels确认Pod标签和Service选择器完全匹配

第四步：集群内部先测连通性，排除应用本身问题 #

先在集群内部验证服务可用性，排除外部网络影响：

• 临时启动测试Pod：kubectl run -it --rm --image=busybox:1.28 test-pod -- sh
• 进入测试Pod后先访问Service的ClusterIP：wget -qO- http://<Service的ClusterIP>:<服务端口>，能正常返回内容说明应用本身无问题，问题出在外部访问链路
• 若ClusterIP访问不通，直接访问PodIP+容器端口：wget -qO- http://<Pod的IP>:<容器暴露的端口>，能通则说明Service配置错误，不通则说明容器内服务未正常启动
• 容器内服务自检：执行kubectl exec -it <Pod名称> -- sh进入容器，执行curl 127.0.0.1:<容器端口>确认本地能正常访问，执行netstat -tunlp确认对应端口已被进程监听

第五步：排查外部访问链路问题 #

集群内部访问正常时，按以下规则排查外部访问问题：

• 执行minikube ip确认你访问的IP是Minikube节点的正确IP，不要误填本地服务器其他网卡的IP
• 检查本地服务器的防火墙规则，是否放通了NodePort端口、或Ingress用到的80/443端口的入站规则
• 如果你是从远程机器访问本地服务器上的Minikube，需要确认Minikube启动时添加了--listen-address=0.0.0.0参数允许外部访问，默认Minikube仅监听127.0.0.1，远程机器无法直接访问

内容的提问来源于stack exchange，提问作者Bornak