如何通过AWS Lambda实现EKS Pod数量增减时发送Slack告警？

可行性说明 #

完全可以通过AWS Lambda结合相关服务实现EKS Pod数量变化的检测与告警，核心思路分为两种：利用CloudWatch监控EKS原生Pod指标触发Lambda，或者让Lambda主动定期查询EKS API对比Pod数量。

两种具体实现方案 #

方案一：基于CloudWatch指标触发Lambda（推荐，复用现有Slack告警流程） #

• 步骤1：开启EKS的CloudWatch Container Insights
  开启后CloudWatch会自动收集EKS的Pod相关指标，包括按集群、命名空间维度统计的PodCount。执行以下命令完成配置（需提前配置好eksctl和AWS CLI）：

  eksctl update cluster --name <你的集群名称> --region <目标区域> --enable-cloudwatch-container-insights
  

• 步骤2：创建CloudWatch告警规则
  针对PodCount指标设置触发条件，比如当目标命名空间下的Pod数量增减超过设定阈值（如2个）时触发告警。告警目标直接选择你已有的Slack通知Lambda函数。
  配置时注意：指标命名空间选ContainerInsights，指标名称选PodCount，通过ClusterName和Namespace维度精准定位需要监控的范围。
• 步骤3：适配Lambda函数解析告警内容
  你的现有Lambda已具备Slack通知能力，只需调整函数逻辑，解析CloudWatch传来的PodCount告警事件，提取集群名、命名空间、数量变化值、当前数量等信息，格式化后发送到Slack即可。

方案二：Lambda定期查询EKS API主动检测（适合自定义复杂规则） #

• 步骤1：配置Lambda的EKS访问权限
  给Lambda的IAM角色添加eks:DescribeCluster权限，同时确保Lambda能通过VPC访问EKS集群（或使用EKS公有API端点），权限遵循最小原则配置。
• 步骤2：编写Lambda代码实现数量对比
  使用Kubernetes客户端库（比如Python的kubernetes包）连接EKS API，查询目标范围的Pod数量，与存储在DynamoDB中的历史数量对比，若变化符合阈值则触发Slack通知。示例代码片段：

  import boto3
  from kubernetes import client, config
  
  def lambda_handler(event, context):
      # 获取EKS集群配置信息
      eks_client = boto3.client('eks')
      cluster_info = eks_client.describe_cluster(name='<你的集群名称>')
      config.load_kube_config_from_dict({
          'apiVersion': 'v1',
          'clusters': [{
              'name': cluster_info['cluster']['name'],
              'cluster': {
                  'server': cluster_info['cluster']['endpoint'],
                  'certificate-authority-data': cluster_info['cluster']['certificateAuthority']['data']
              }
          }],
          'contexts': [{
              'name': 'lambda-context',
              'context': {'cluster': cluster_info['cluster']['name']}
          }],
          'current-context': 'lambda-context'
      })
      
      # 查询目标命名空间的Pod数量
      v1 = client.CoreV1Api()
      pod_list = v1.list_namespaced_pod(namespace='<目标命名空间>')
      current_count = len(pod_list.items)
      
      # 从DynamoDB读取历史数量并对比（此处省略DynamoDB读写逻辑）
      # 若数量变化超过阈值，调用已有的Slack通知函数
      send_slack_notification(f"集群<你的集群名称>的<目标命名空间>下Pod数量变为{current_count}")
  

• 步骤3：设置Lambda定时触发
  通过EventBridge（原CloudWatch Events）创建定时规则，比如每分钟触发一次Lambda，实现主动周期性检测。

注意事项 #

• 所有IAM权限配置遵循最小权限原则，避免过度授权。
• 方案二中注意控制EKS API的调用频率，避免触发限流。
• Slack消息需包含关键信息：集群名、命名空间、数量变化值、当前数量，方便快速定位场景。

内容的提问来源于stack exchange，提问作者Young