Google Cloud Kubernetes集群Pod偶发全量重启原因排查咨询

一、通过Google Cloud平台工具排查 #

• Cloud Logging：
  1. 进入Cloud Console的Logging页面，用过滤器定位Pod重启相关日志，比如：

     resource.type="k8s_pod"
     jsonPayload.reason="Started" OR jsonPayload.reason="Killing"
     

     重点看重启前的Killing日志，里面会明确终止原因（如OOMKilled、节点驱逐等）。
  2. 也可过滤节点层面日志，排查节点故障引发的Pod重建：

     resource.type="k8s_node"
     jsonPayload.message:"evicting pods" OR jsonPayload.message:"node not ready"
     

• Cloud Monitoring：
  1. 查看Kubernetes Pod指标下的Pod restart count，锁定重启时间窗口，同时关联节点的CPU使用率、内存使用率指标，排查是否因节点资源耗尽触发Pod驱逐。
  2. 检查GKE Cluster相关指标，确认重启时段是否存在节点升级、自动修复的操作记录。
• GKE集群详情页：
  进入集群“节点池”页面，查看节点的创建/更新时间，确认Pod重启时段是否有节点版本升级；另外查看“操作历史”，排查是否有集群配置变更、节点池扩容缩容等操作。

二、使用kubectl命令排查 #

• 查看集群事件：
  执行命令获取全集群事件并按时间排序，定位重启时段的异常事件：

  kubectl get events --all-namespaces --sort-by='.metadata.creationTimestamp'
  

  重点关注Warning级别事件，比如Eviction（Pod被驱逐）、NodeNotReady（节点不可用）、OOMKilled（内存溢出）。
• 查看Pod详情：
  针对重启的Pod，查看状态变化和终止原因：

  kubectl describe pod <pod-name> -n <namespace>
  

  在Events和Status区域，会记录Pod重启次数、终止信号（如SIGKILL）、终止原因。
• 查看Pod重启前的日志：
  若Pod重启后日志被清空，可查看上一个容器实例的日志：

  kubectl logs <pod-name> -n <namespace> --previous
  

  这有助于定位应用层面的崩溃原因（如代码异常、依赖故障）。
• 检查节点状态：
  查看所有节点状态，确认重启时段是否有节点处于NotReady状态：

  kubectl get nodes
  

  对异常节点，进一步查看详情：

  kubectl describe node <node-name>
  

  重点关注Conditions和Events区域，排查节点是否因资源不足、硬件故障、网络问题导致不可用。

三、其他潜在排查方向 #

• 资源限制配置：检查Pod的resources.requests和resources.limits配置，确认是否因内存/CPU限制过低，导致应用触发OOM被终止。
• 存储卷问题：如果Pod使用了PersistentVolume（PV），排查PV是否存在挂载失败、存储后端故障等问题，这类问题可能引发Pod重启。
• 集群自动升级：GKE默认会自动升级节点和控制平面，升级过程中会驱逐节点上的Pod并重建，可在GKE集群设置里确认自动升级的时间窗口，看是否和Pod重启时段匹配。

内容的提问来源于stack exchange，提问作者Jason M