Istio部署下长耗时API端点触发Pod重启问题求助

核心问题定位 #

你遇到的问题包含两个关联点：

• Istio代理的上游请求超时阈值过短，导致耗时35秒的API端点在25秒时被强制断开连接，返回upstream connect error or disconnect/reset before headers。
• 就绪探针请求超时触发Pod重启，日志中的context deadline exceeded说明探针请求未在超时时间内得到响应，进而触发Kubernetes重启Pod。

一、调整Istio API请求超时阈值 #

针对慢端点单独配置超时，或者全局调整服务的超时时间，确保覆盖本地35秒的耗时：

1. 针对单个慢端点配置（推荐） #

创建或修改对应服务的VirtualService，为慢端点单独设置超时：

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: your-api-service # 替换为你的服务名称
  namespace: default # 替换为服务所在命名空间
spec:
  hosts:
  - your-api-service.default.svc.cluster.local
  http:
  # 针对慢端点的单独配置
  - match:
    - uri:
        exact: /your-slow-endpoint # 替换为实际慢端点路径
    route:
    - destination:
        host: your-api-service.default.svc.cluster.local
        port:
          number: 8080 # 替换为服务端口
    timeout: 40s # 设置比本地耗时更长的超时，如40秒
  # 其他端点使用默认配置
  - route:
    - destination:
        host: your-api-service.default.svc.cluster.local
        port:
          number: 8080

2. 全局服务超时配置 #

如果需要给整个API服务设置统一超时，修改DestinationRule：

apiVersion: networking.istio.io/v1alpha3
kind: DestinationRule
metadata:
  name: your-api-service
  namespace: default
spec:
  host: your-api-service.default.svc.cluster.local
  trafficPolicy:
    timeout: 40s # 全局超时设置
    connectionPool:
      http:
        idleTimeout: 40s # 保持连接超时同步调整

二、修复探针超时导致的Pod重启 #

1. 调整Pod探针配置 #

修改API服务的Pod模板，延长探针的超时时间，避免误判：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: your-api-deployment
  namespace: default
spec:
  template:
    spec:
      containers:
      - name: api-container
        image: your-api-image:tag
        readinessProbe:
          httpGet:
            path: /app-health/server/readyz
            port: 8080
          timeoutSeconds: 10 # 延长探针超时时间
          periodSeconds: 15 # 调整探测周期
          failureThreshold: 3 # 允许连续失败次数
        livenessProbe:
          httpGet:
            path: /app-health/server/livez # 建议单独设置存活探针路径
            port: 8080
          timeoutSeconds: 10
          periodSeconds: 30

2. 调整Istio代理的探针转发超时 #

通过Pod注解配置Istio代理，延长探针请求的转发超时：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: your-api-deployment
  namespace: default
spec:
  template:
    metadata:
      annotations:
        proxy.istio.io/config: |
          proxyMetadata:
            ISTIO_PROBE_TIMEOUT: "10s" # 设置代理转发探针的超时时间
    spec:
      containers:
      - name: api-container
        # ... 容器其他配置

验证步骤 #

1. 应用上述配置后，重新部署API服务：kubectl apply -f your-config.yaml
2. 调用慢端点，观察是否能正常返回结果，无连接断开错误
3. 查看Pod日志和Istio代理日志，确认探针请求不再超时，Pod不再异常重启

内容的提问来源于stack exchange，提问作者000daszz