如何在Google Kubernetes Engine中持久化Pod生命周期状态与事件？

我来帮你解决这个问题——当GKE节点被自动扩缩容移除后，虽然kubectl已经查不到Pod信息，但GCP的几个原生服务可以帮你找回Pod的终止状态（比如Completed、Error、OOMKilled），具体操作如下：

1. 优先用Cloud Logging（原Stackdriver）查找日志 #

这是最可靠的方式，因为即使节点被销毁，kubelet会在节点被驱逐前将Pod的日志上传到云端。你可以按以下步骤操作：

• 打开GCP控制台的Cloud Logging页面，使用过滤条件定位目标Pod的日志，替换成你的集群、命名空间和Pod名称：

  resource.type="k8s_pod"
  resource.labels.cluster_name="你的集群名称"
  resource.labels.namespace_name="你的命名空间"
  resource.labels.pod_name="目标Pod名称"
  logName:"/var/log/pods"
  

• 如果你想直接找终止状态相关的日志，可以在过滤条件里加上关键词，比如：

  resource.type="k8s_pod"
  resource.labels.cluster_name="你的集群名称"
  resource.labels.namespace_name="你的命名空间"
  resource.labels.pod_name="目标Pod名称"
  textPayload:(Completed|Error|OOMKilled)
  

• 另外，kubelet的日志也会记录Pod终止的细节，你可以用这个过滤条件查找：

  resource.type="k8s_node"
  logName:"/var/log/kubelet.log"
  textPayload:"目标Pod名称"
  textPayload:(terminated|exit code|OOM)
  

2. 查看Cloud Audit Logs（云审计日志） #

GKE控制平面的所有操作都会被记录在云审计日志里，包括Pod的删除或终止事件：

• 进入GCP控制台的Cloud Audit Logs，选择“Kubernetes Engine”分类；
• 使用过滤条件resource.type="k8s_pod"，然后筛选methodName包含delete或update的事件，这些事件里会包含Pod终止时的状态信息。

3. 检查节点的串行端口输出 #

如果上述方法没找到，还可以查看已终止节点的串行端口输出，这里可能保留了kubelet的最后运行日志：

• 打开GCP控制台的Compute Engine页面，切换到“已终止”实例列表，找到被自动扩缩容移除的节点；
• 点击节点详情里的“串行端口1”，搜索目标Pod的名称，可能会找到Pod终止的相关记录。

额外提醒 #

• 对于你使用的GKE 1.9.6-gke.1版本，默认已经启用了Cloud Logging集成，但可以检查集群的日志配置确认是否开启；
• 如果你需要长期保存这些日志，可以在Cloud Logging里调整日志保留策略，避免关键日志被自动清理。

内容的提问来源于stack exchange，提问作者Kevin Lam