GKE Kubernetes：如何在可用性告警触发时自动重启Pod

针对你在GKE上的需求，有两种直接落地的实现路径，适配现有告警体系或Kubernetes生态工具，无需额外复杂组件：

方案一：GCP Cloud Monitoring + Pub/Sub + Cloud Functions（推荐，适配现有告警） #

你已经在用GCP的可用性告警，直接基于这套体系扩展即可：

1. 新增Pub/Sub通知通道

   • 登录GCP控制台，进入Cloud Monitoring的「通知通道」页面，创建一个Pub/Sub类型通道，关联新建的Pub/Sub主题（例如alert-web-pod-rebuild）。
   • 将你的可用性告警配置为同时推送通知到该Pub/Sub主题（保留原有的短信/邮件通知）。

2. 编写Cloud Function处理告警并删除Pod

   • 创建Cloud Function，选择「Pub/Sub触发器」订阅上述主题。
   • 核心逻辑示例（Python）：

     from kubernetes import client, config
     import os
     
     def delete_web_pods(event, context):
         # 加载GKE集群配置（Cloud Function默认自动获取集群权限）
         config.load_incluster_config()
         v1 = client.CoreV1Api()
     
         # 替换为你的主站服务标签与命名空间
         pod_label_selector = "app=web-main"
         namespace = os.environ.get("WEB_NAMESPACE", "default")
     
         # 筛选并删除目标Pod
         pods = v1.list_namespaced_pod(namespace, label_selector=pod_label_selector)
         for pod in pods.items:
             print(f"Deleting faulty pod: {pod.metadata.name}")
             v1.delete_namespaced_pod(pod.metadata.name, namespace)
     

   • 权限配置：给Cloud Function对应的服务账号添加roles/container.developer角色（或更细粒度的container.pods.delete权限），确保它能访问GKE集群API。

3. 测试验证

   • 手动触发可用性告警（例如暂停主站Pod），检查Pub/Sub是否收到消息、Cloud Function是否执行、Pod是否自动删除重建。

方案二：Prometheus + Alertmanager + Kubernetes Job（适合自建监控） #

如果你的告警基于Prometheus，可通过Alertmanager的Webhook触发Kubernetes Job完成操作：

• 在Alertmanager配置中添加Webhook receiver，指向集群内的HTTP服务（收到告警后创建Job删除Pod）。
• Job模板示例：

  apiVersion: batch/v1
  kind: Job
  metadata:
    name: delete-web-pods
  spec:
    template:
      spec:
        containers:
        - name: kubectl
          image: bitnami/kubectl:latest
          command: ["kubectl", "delete", "pods", "-l", "app=web-main", "-n", "default"]
        restartPolicy: Never
    backoffLimit: 0
  

• 确保Webhook服务有创建Job的权限，Job的服务账号有删除Pod的权限。

关键注意事项 #

• 避免误触发：调整告警阈值（例如连续5分钟不可用才触发），防止临时抖动导致频繁删Pod影响业务。
• 日志审计：所有操作会记录在Cloud Logging（方案一）或Kubernetes事件中，定期排查问题。
• 权限最小化：仅给服务账号授予删除指定命名空间、指定标签Pod的权限，降低安全风险。

内容的提问来源于stack exchange，提问作者Justin Lloyd