阿里云ACK环境下gRPC keepalive配置不生效问题如何排查？

1. 验证gRPC keepalive配置有效性 #

• 先确认客户端、服务端的参数是否符合Python gRPC的规范，常见参数配置错误会导致配置不生效：
  • 客户端必填参数：grpc.keepalive_time_ms（心跳发送间隔，建议小于300s）、grpc.keepalive_timeout_ms（心跳超时时间）、grpc.keepalive_permit_without_calls（设为1，允许无请求时发送心跳）
  • 服务端必填参数：grpc.keepalive_time_ms、grpc.keepalive_timeout_ms、grpc.http2.max_pings_without_data（设为0或者足够大的值，避免服务端拒绝无数据时的心跳）、grpc.http2.min_time_between_pings_ms（设为小于客户端keepalive间隔的值，避免服务端判定心跳过于频繁触发限流）
• 可以通过tcpdump抓包验证闲置期间是否有gRPC心跳包发送，抓包命令：tcpdump -i any port <你的gRPC服务端口> -vv，如果闲置期间没有心跳包，说明配置未生效。

2. 排查阿里云ACK集群中间设备的TCP超时 #

• Pod之间通过ClusterIP通信时，若kube-proxy使用ipvs模式，默认IPVS TCP连接超时为900s，如果你的gRPC keepalive间隔大于900s，连接会被ipvs静默丢弃，两端都感知不到断连，首次请求复用失效连接就会失败。
• 检查当前ipvs超时配置：ipvsadm -l --timeout，如果tcp参数值小于你的keepalive间隔，需要调整keepalive间隔为该值的2/3以内，或者修改ipvs超时配置。
• 若服务通过LoadBalancer对外暴露，阿里云SLB默认TCP闲置超时为900s，同样需要保证keepalive间隔小于该值。
• 若集群启用了Istio服务网格，还需要检查Envoy sidecar的TCP闲置超时配置，默认值为3600s，需保证keepalive间隔小于该值。

3. 检查服务端闲置连接回收配置 #

• 确认服务端是否配置了grpc.http2.max_connection_idle_ms参数，如果该值小于客户端闲置时间，服务端会主动断连，而客户端未感知的情况下复用旧连接就会返回UNAVAILABLE错误。
• 建议服务端配置grpc.http2.max_connection_idle_ms的同时，客户端开启空闲连接回收，配置grpc.client_idle_timeout_ms参数，在服务端断连前主动关闭空闲连接。

4. 排查Python gRPC版本问题 #

• 1.3.x之前的Python gRPC版本存在多个keepalive相关的已知bug，会导致心跳不发送、连接断连不感知的问题，可通过pip show grpcio查看当前版本，建议升级到1.48.x及以上的稳定版本。

5. 临时验证方案 #

• 可以先在客户端配置gRPC重试策略，对UNAVAILABLE错误自动重试，验证是否是失效连接复用导致的问题，重试配置示例：

import json
import grpc

retry_policy = {
    "methodConfig": [
        {
            "name": [{"service": ""}],
            "retryPolicy": {
                "maxAttempts": 3,
                "initialBackoff": "0.1s",
                "maxBackoff": "1s",
                "backoffMultiplier": 2,
                "retryableStatusCodes": ["UNAVAILABLE"],
            },
        }
    ]
}
channel = grpc.insecure_channel('<服务地址>', options=[
    ('grpc.service_config', json.dumps(retry_policy))
])

如果配置重试后问题消失，即可确认是旧连接复用导致的问题，再按上述步骤调整参数即可。

内容的提问来源于stack exchange，提问作者William Gazeley