如何避免SqsListener在K8s Pod销毁时刷大量错误日志

问题分析 #

核心原因是Pod销毁时，Kubernetes/Istio已提前切断网络，但Spring容器未完成关闭流程，此时SQS异步客户端仍在重试连接SQS服务，短时间内产生大量连接拒绝日志。之前配置的启动探针针对启动阶段，对销毁阶段的问题无作用。

解决方案 #

1. 配置Spring优雅关闭，优先停止SQS监听器 #

通过Spring生命周期配置，给应用足够时间在销毁前停止SQS监听器，避免发起新连接请求：

# application.yml
spring:
  lifecycle:
    timeout-per-shutdown-phase: 30s # 给所有Bean的关闭流程留足缓冲时间
  cloud:
    aws:
      sqs:
        listener:
          max-wait-time-on-shutdown: 20s # 让监听器处理完现有消息后停止拉取新消息

2. 调整SQS客户端重试策略，避免销毁阶段疯狂重试 #

修改SQS异步客户端的重试规则，减少重试次数，或在应用关闭时直接终止重试：

@Configuration
public class SqsConfig {

    @Bean
    public SqsAsyncClient sqsAsyncClient() {
        RetryPolicy retryPolicy = RetryPolicy.builder()
                .maxAttempts(2) // 大幅减少默认重试次数
                .backoffStrategy(BackoffStrategy.exponentialBackoff(Duration.ofMillis(100), 1.5))
                .retryCondition(context -> {
                    // 判断应用是否正在关闭，若是则停止重试
                    ConfigurableApplicationContext ctx = SpringApplication.getBootstrapContext().get(ConfigurableApplicationContext.class);
                    if (ctx != null && ctx.isClosing()) {
                        return false;
                    }
                    // 仅对可恢复错误重试，直接拒绝的连接请求跳过
                    Throwable cause = context.exception();
                    return cause instanceof SdkException && !(cause instanceof SdkClientException);
                })
                .build();

        return SqsAsyncClient.builder()
                .region(Region.US_EAST_1)
                .overrideConfiguration(cfg -> cfg.retryPolicy(retryPolicy))
                .build();
    }
}

3. 配置Kubernetes终止策略，配合优雅关闭 #

调整Pod终止优雅期，确保容器有足够时间完成关闭，同时通过preStop钩子主动触发Spring关闭：

# deployment.yaml
apiVersion: apps/v1
kind: Deployment
spec:
  template:
    spec:
      terminationGracePeriodSeconds: 35 # 比Spring的shutdown timeout多5秒，留缓冲
      containers:
      - name: your-app-container
        lifecycle:
          preStop:
            exec:
              command: ["/bin/sh", "-c", "sleep 5 && curl -X POST http://localhost:8080/actuator/shutdown"]
        ports:
        - containerPort: 8080
---
# application.yml 补充开启shutdown端点
management:
  endpoint:
    shutdown:
      enabled: true
  endpoints:
    web:
      exposure:
        include: shutdown

4. 适配Istio Sidecar的终止顺序 #

由于使用Istio边车，需让应用先完成关闭，再关闭边车，避免提前切断网络：

# 在Deployment的Pod模板中添加注解
apiVersion: apps/v1
kind: Deployment
spec:
  template:
    metadata:
      annotations:
        sidecar.istio.io/terminationDrainDuration: "30s" # 边车延迟30秒关闭
        sidecar.istio.io/drainDuration: "25s" # 边车停止接收流量后，等待25秒再关闭

5. 临时方案：日志过滤（紧急抑制） #

如果上述配置无法立即生效，可在日志采集系统（如ELK、Loki）中添加过滤规则：

• 过滤关键词：connection refused to sqs.us-east-1.amazonaws.com
• 结合Pod的terminating状态标签，仅过滤销毁中的Pod产生的此类日志

内容的提问来源于stack exchange，提问作者Hasherino